def step_impl(context):
params = (
('id', ''),
('token', tokens["master"]),
)
check_download(params, context)
def step_impl(context):
params = (
('id', generate_random_chars()),
('token', tokens["master"]),
)
check_download(params, context)
def step_impl(context):
params = (
('id', res[2]),
('token', ''),
)
check_download(params, context)
def download_file(url, dt_referencia, file_name):
# verifica se o arquivo deve ser baixado
if not utils.check_download(dt_referencia, file_name):
return False
dt_referencia = dt_referencia.strftime('%d/%m/%Y')
params = {
'DataIni': dt_referencia,
'Idioma': 'PT',
'escolha': '2',
'saida': 'csv'
}
utils.download(url, params, file_name)
def download_file(url, dt_referencia, file_name):
# verifica se o arquivo deve ser baixado
if not utils.check_download(dt_referencia, file_name):
return False
dt_referencia_formatada = dt_referencia.strftime('%d/%m/%Y')
params = {
'escolha': 2,
'Dt_Ref': dt_referencia_formatada,
'Dt_Ref_Ver': '20000101',
'saida': 'csv',
'Idioma': 'PT'
}
utils.download(url, params, file_name)
def download_file(url, dt_referencia, file_name):
# verifica se o arquivo deve ser baixado
if not utils.check_download(dt_referencia, file_name):
return False
dt_referencia = dt_referencia.strftime('%d/%m/%Y')
params = {
'Titulo_1': 'quadro-resumo',
'Consulta_1': 'Ambos',
'Dt_Ref': dt_referencia,
'DataIni': dt_referencia,
'DataFim': dt_referencia,
'Indice': 'quadro-resumo',
'Consulta': 'Ambos',
'saida': 'csv',
'Idioma': 'PT'
}
utils.download(url, params, file_name)
def main():
# apaga arquivos antigos
remove_old_files()
# verifica a última data disponível na base
name_file_base = 'ima_quadro_resumo_base.csv'
path_file_base = os.path.join('bases', name_file_base)
# ultima data base dispon[ivel
ultima_data_base = get_ultima_data_disponivel_base(path_file_base)
print('Última data base disponível:', ultima_data_base)
if (ultima_data_base is None):
ultima_data_base = datetime.date(2010, 11, 17)
carteiras = [
'irf-m', 'irf-m 1', 'irf-m 1+', 'ima-b', 'ima-b 5', 'ima-b 5+',
'ima-c', 'ima-s', 'ima-geral', 'ima-geral ex-c'
]
# faz o download do csv no site da anbima
url = 'http://www.anbima.com.br/informacoes/ima/ima-carteira-down.asp'
# verifica a última data disponível na base
today = datetime.now().date()
cal = utils.get_calendar()
ultima_data_base = cal.offset(today, -5)
dates_range = list(utils.datetime_range(start=ultima_data_base, end=today))
for dt_referencia in reversed(dates_range):
for carteira in carteiras:
path_download = os.path.join('downloads', carteira)
if not os.path.exists(path_download):
os.makedirs(path_download)
file_name = os.path.join(
path_download,
dt_referencia.strftime('%Y%m%d') + '_' + carteira + '.csv')
if utils.check_download(dt_referencia, file_name) is False:
break
# faz o download do arquivo caso ele ainda não tiver sido baixado
if not os.path.exists(file_name):
download_file_carteira(url, dt_referencia, file_name, carteira)
print("Arquivos baixados com sucesso e importados para a base de dados")
def main():
# apaga arquivos antigos
remove_old_files()
# verifica a última data disponível na base
name_file_base = 'ima_quadro_resumo_base.csv'
path_file_base = os.path.join('bases', name_file_base)
# ultima data base dispon[ivel
ultima_data_base = get_ultima_data_disponivel_base(path_file_base)
print('Última data base disponível:', ultima_data_base)
if (ultima_data_base is None):
ultima_data_base = datetime.date(2010, 11, 17)
# faz o download do csv no site da anbima
# lft
url = 'http://www.anbima.com.br/informacoes/merc-sec/arqs/ms'
# verifica a última data disponível na base
today = datetime.now().date()
cal = utils.get_calendar()
ultima_data_base = cal.offset(today, -5)
dates_range = list(utils.datetime_range(start=ultima_data_base, end=today))
path_download = os.path.join('downloads',
'titulos-publicos-merc-secundario')
if not os.path.exists(path_download):
os.makedirs(path_download)
for dt_referencia in reversed(dates_range):
file_path = os.path.join(
path_download,
dt_referencia.strftime('%Y%m%d') + '_ms_titulos-publicos.txt')
# verifica se o arquivo deve ser baixado
if not utils.check_download(dt_referencia, file_path):
continue
print(file_path)
# faz o download do arquivo caso ele ainda não tiver sido baixado
if not os.path.exists(file_path):
download_file(url, dt_referencia, file_path)
print("Arquivos baixados com sucesso")
utils.remove_old_files('precos_medios_diesel_e_gasolina_')
dt_referencia = datetime.datetime.now().date()
# verifica a última data disponível na base
name_file_base = 'precos_medios_diesel_e_gasolina_base.csv'
path_file_base = os.path.join('bases', name_file_base)
ultima_data_base = utils.get_ultima_data_disponivel_base(path_file_base)
print('Última data base disponível:', ultima_data_base)
# faz o download do PDF do site da petrobras
url = 'http://www.petrobras.com.br/lumis/api/rest/pricegraphnovo/report?n=4'
name_file = 'precos_medios_diesel_e_gasolina_' + dt_referencia.strftime(
"%d.%m.%Y") + '.pdf'
path_file = os.path.join('downloads', name_file)
# somente faz o download se for dia útil
if not utils.check_download(dt_referencia, path_file):
print(
'Processo terminado, a data não é dia útil ou o arquivo já foi importado',
dt_referencia)
exit()
# faz o download
utils.download_file(url, path_file)
# convert PDF into CSV
path_file_csv = path_file + '.csv'
tabula.convert_into(path_file, path_file_csv, output_format="csv")
with open(path_file_csv) as csvfile:
reader = csv.DictReader(csvfile)
for row in reversed(list(reader)):
import json
import logging
import sys
import yaml
from transformers import AutoConfig, AutoModel
from utils import REPO_FOLDER, ARCHITECTURE_FOLDER, build_config_from_yaml, check_download
from os.path import join
if __name__ == "__main__":
logging.basicConfig(stream=sys.stdout, level=logging.INFO)
files = [f for f in sys.argv[1:] if f.startswith(REPO_FOLDER)]
for file in files:
has_error = check_download(file)
if has_error:
sys.exit(1)
def step_impl(context):
params = {"id": [res[2], res[3]], "token": tokens["2_5_write"]}
check_download(params, context)
def step_impl(context):
params = (('token', tokens["3_4_write"]), )
check_download(params, context)
