def step_impl(context): params = ( ('id', ''), ('token', tokens["master"]), ) check_download(params, context)
def step_impl(context): params = ( ('id', generate_random_chars()), ('token', tokens["master"]), ) check_download(params, context)
def step_impl(context): params = ( ('id', res[2]), ('token', ''), ) check_download(params, context)
def download_file(url, dt_referencia, file_name): # verifica se o arquivo deve ser baixado if not utils.check_download(dt_referencia, file_name): return False dt_referencia = dt_referencia.strftime('%d/%m/%Y') params = { 'DataIni': dt_referencia, 'Idioma': 'PT', 'escolha': '2', 'saida': 'csv' } utils.download(url, params, file_name)
def download_file(url, dt_referencia, file_name): # verifica se o arquivo deve ser baixado if not utils.check_download(dt_referencia, file_name): return False dt_referencia_formatada = dt_referencia.strftime('%d/%m/%Y') params = { 'escolha': 2, 'Dt_Ref': dt_referencia_formatada, 'Dt_Ref_Ver': '20000101', 'saida': 'csv', 'Idioma': 'PT' } utils.download(url, params, file_name)
def download_file(url, dt_referencia, file_name): # verifica se o arquivo deve ser baixado if not utils.check_download(dt_referencia, file_name): return False dt_referencia = dt_referencia.strftime('%d/%m/%Y') params = { 'Titulo_1': 'quadro-resumo', 'Consulta_1': 'Ambos', 'Dt_Ref': dt_referencia, 'DataIni': dt_referencia, 'DataFim': dt_referencia, 'Indice': 'quadro-resumo', 'Consulta': 'Ambos', 'saida': 'csv', 'Idioma': 'PT' } utils.download(url, params, file_name)
def main(): # apaga arquivos antigos remove_old_files() # verifica a última data disponível na base name_file_base = 'ima_quadro_resumo_base.csv' path_file_base = os.path.join('bases', name_file_base) # ultima data base dispon[ivel ultima_data_base = get_ultima_data_disponivel_base(path_file_base) print('Última data base disponível:', ultima_data_base) if (ultima_data_base is None): ultima_data_base = datetime.date(2010, 11, 17) carteiras = [ 'irf-m', 'irf-m 1', 'irf-m 1+', 'ima-b', 'ima-b 5', 'ima-b 5+', 'ima-c', 'ima-s', 'ima-geral', 'ima-geral ex-c' ] # faz o download do csv no site da anbima url = 'http://www.anbima.com.br/informacoes/ima/ima-carteira-down.asp' # verifica a última data disponível na base today = datetime.now().date() cal = utils.get_calendar() ultima_data_base = cal.offset(today, -5) dates_range = list(utils.datetime_range(start=ultima_data_base, end=today)) for dt_referencia in reversed(dates_range): for carteira in carteiras: path_download = os.path.join('downloads', carteira) if not os.path.exists(path_download): os.makedirs(path_download) file_name = os.path.join( path_download, dt_referencia.strftime('%Y%m%d') + '_' + carteira + '.csv') if utils.check_download(dt_referencia, file_name) is False: break # faz o download do arquivo caso ele ainda não tiver sido baixado if not os.path.exists(file_name): download_file_carteira(url, dt_referencia, file_name, carteira) print("Arquivos baixados com sucesso e importados para a base de dados")
def main(): # apaga arquivos antigos remove_old_files() # verifica a última data disponível na base name_file_base = 'ima_quadro_resumo_base.csv' path_file_base = os.path.join('bases', name_file_base) # ultima data base dispon[ivel ultima_data_base = get_ultima_data_disponivel_base(path_file_base) print('Última data base disponível:', ultima_data_base) if (ultima_data_base is None): ultima_data_base = datetime.date(2010, 11, 17) # faz o download do csv no site da anbima # lft url = 'http://www.anbima.com.br/informacoes/merc-sec/arqs/ms' # verifica a última data disponível na base today = datetime.now().date() cal = utils.get_calendar() ultima_data_base = cal.offset(today, -5) dates_range = list(utils.datetime_range(start=ultima_data_base, end=today)) path_download = os.path.join('downloads', 'titulos-publicos-merc-secundario') if not os.path.exists(path_download): os.makedirs(path_download) for dt_referencia in reversed(dates_range): file_path = os.path.join( path_download, dt_referencia.strftime('%Y%m%d') + '_ms_titulos-publicos.txt') # verifica se o arquivo deve ser baixado if not utils.check_download(dt_referencia, file_path): continue print(file_path) # faz o download do arquivo caso ele ainda não tiver sido baixado if not os.path.exists(file_path): download_file(url, dt_referencia, file_path) print("Arquivos baixados com sucesso")
utils.remove_old_files('precos_medios_diesel_e_gasolina_') dt_referencia = datetime.datetime.now().date() # verifica a última data disponível na base name_file_base = 'precos_medios_diesel_e_gasolina_base.csv' path_file_base = os.path.join('bases', name_file_base) ultima_data_base = utils.get_ultima_data_disponivel_base(path_file_base) print('Última data base disponível:', ultima_data_base) # faz o download do PDF do site da petrobras url = 'http://www.petrobras.com.br/lumis/api/rest/pricegraphnovo/report?n=4' name_file = 'precos_medios_diesel_e_gasolina_' + dt_referencia.strftime( "%d.%m.%Y") + '.pdf' path_file = os.path.join('downloads', name_file) # somente faz o download se for dia útil if not utils.check_download(dt_referencia, path_file): print( 'Processo terminado, a data não é dia útil ou o arquivo já foi importado', dt_referencia) exit() # faz o download utils.download_file(url, path_file) # convert PDF into CSV path_file_csv = path_file + '.csv' tabula.convert_into(path_file, path_file_csv, output_format="csv") with open(path_file_csv) as csvfile: reader = csv.DictReader(csvfile) for row in reversed(list(reader)):
import json import logging import sys import yaml from transformers import AutoConfig, AutoModel from utils import REPO_FOLDER, ARCHITECTURE_FOLDER, build_config_from_yaml, check_download from os.path import join if __name__ == "__main__": logging.basicConfig(stream=sys.stdout, level=logging.INFO) files = [f for f in sys.argv[1:] if f.startswith(REPO_FOLDER)] for file in files: has_error = check_download(file) if has_error: sys.exit(1)
def step_impl(context): params = {"id": [res[2], res[3]], "token": tokens["2_5_write"]} check_download(params, context)
def step_impl(context): params = (('token', tokens["3_4_write"]), ) check_download(params, context)