##Краткосрочные экономические показатели Российской Федерации

Исходная публикация на сайте Росстата: www.gks.ru

Ряды данных:

• в формате Excel: kep.xlsx, kep.xls

• в формате csv:

  • годовые
  • квартальные
  • месячные

• список переменных

Графики:

• PDF
• *.png

Типовые вызовы:

# Пример кода с get_ts(), get_df()
# Можно использовать тестовые примеры

1. Converter
doc - > raw csv
(word.py)
2. Parser
raw csv + specification -> labelled csv -> flat stream -> database
         (load_spec.py)   (label_csv.py)  (stream.py)    (database.py)
3. Selector
database -> dfm, dfq, dfa -> get_ts(), get_df()
                      ... -> get_varnames()   
(query.py)
4. Plotting
(plot.py)

##Todo

Самое важное сейчас:

• issue #31: Testing: make test_1.py executable with py.test

Экспорт данных

• issue #1 - экспорт данных: улучшение форматирования xls(x) файлов / apearance of xlsx file

Парсинг и импорт

• issue #34: make varlist, including segments
• make varlist in order of appearance in markupfile + include segments

Тестирование

• issue #31 - запустить py.test внутри пакета (вместе c init.py) - Testing: run test_1.py executable with py.test

Текущие ошибки парсинга

• #14: epogrebnyak#14 'CORP_DEBT_rog' is invalid data (ind06)
• #35: не читается переменная 'PROFIT'

Рисунки:

• issue #33: Plotting: all single .png plots in plots.py lack proper dates on x axis

Докуменатция:

• issue #25: улучшить скрипт построения документации
• issue #32: написать примеры использвоания API - write API examples for README.md

##Done Парсинг и импорт

• issue #30 - прочитать данные из csv c иcпользованием нескольких файлов разметки - read raw csv using config file and two spec files

Экспорт данных

• issue #24 - экспорт данных: xls файл
• issue #26 - упрощение формата csv, use native pandas export for csv files

Рисунки:

• issue #29: Save all monthly plots as .png files
• issue #27: make full list of .png files as markdown file

##Not todo

Новые функции

• таблицы с нестандартным количеством столбцов, импорт данных по ВВП
• разбивка png-md или pdf файла на разделы
• новый шаблон pdf файла
• sql dump of database

Некритические

• transfer useful functions from old_src at src branch
• генерировать tab_headers.txt - использовать make_headers(p) в label_csv из ветки old_src
• issue #20: integrity check of database
• may remove first 'readers functions' part in spec file
• issue #6: orderly sequence of variables in xlsx file - in columns
• groups/sections of variables in pdf/md-png
• rename common to io + move load_spec to common + make test_load_spec.py
• check if header (eg "Объем платных услуг населению") has multiple appearances in raw csv file
• issue #36: substitute 'tabulate' module with simple pure python function to write table
• maybe move 'output' folder to root

##Итоговое использование

1. Ряды со снятием сезонности
2. Переменная состояния среды (фильтр Калмана по 3-5 переменным)
3. Индекс промышленного производства через натуральные показатели
4. Индекс инвестиций через инвестицонные товары
5. Описание недостающих переменных и блоков (экспортные цены на нефть, например)