def periodic_updates(db, connection, lote=2000):
print('Iniciando atualizações...')
hoje = datetime.combine(date.today(), datetime.min.time())
doisdias = hoje - timedelta(days=2)
cincodias = hoje - timedelta(days=5)
dezdias = hoje - timedelta(days=10)
ontem = hoje - timedelta(days=1)
xmli.dados_xml_grava_fsfiles(db, lote * 5, cincodias)
processa_xml_mercante.get_arquivos_novos(connection)
processa_xml_mercante.xml_para_mercante(connection)
resume_mercante.mercante_resumo(connection)
mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, hoje, 10)
# carga.dados_carga_grava_fsfiles(db, lote * 2, doisdias)
anomalia_lote.processa_zscores(db, cincodias, ontem)
info_ade02.adquire_pesagens(db, cincodias, ontem)
info_ade02.pesagens_grava_fsfiles(db, cincodias, ontem)
atualiza_stats(db)
carga.cria_campo_pesos_carga(db, lote * 3)
carga.cria_campo_pesos_carga_pesagem(db, lote * 3)
# predictions_update2('ssd', 'bbox', lote, 4)
predictions_update2('index', 'index', lote, 8)
# gera_indexes()
# print(reload_indexes())
tfs_predictions_update('vazio', lote, 20)
tfs_predictions_update('peso', lote, 20)
# predictions_update2('vaziosvm', 'vazio', lote, 4)
# predictions_update2('peso', 'peso', lote, 16)
try:
jupapi.novas_gmcis(connection)
except Exception as err:
print(err)
def do():
lote = 100
if len(sys.argv) > 1:
lote = int(sys.argv[1])
print('Lote de %s arquivos' % lote)
sql = create_engine(SQL_URI)
print('Baixando arquivos novos...')
# get_arquivos_novos(sql)
print('Processando XML...')
xml_para_mercante(sql, lote)
print('Fazendo resumo operações...')
mercante_resumo(sql)
def update(dias, fim):
"""Script de linha de comando para integração do arquivo XML."""
end = datetime.strptime(fim, '%d/%m/%Y')
print('Começando a integração... Fim %s Dias antes %s' % (fim, dias))
connection = create_engine(SQL_URI)
tempo = time.time()
processa_xml_mercante.get_arquivos_novos(connection)
processa_xml_mercante.xml_para_mercante(connection)
resume_mercante.mercante_resumo(connection)
mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, end, dias)
tempototal = time.time() - tempo
print('Tempo total: %s' % tempototal)
def periodic_updates(db, connection, lote=2000):
print('Iniciando atualizações...')
hoje = datetime.combine(date.today(), datetime.min.time())
doisdias = hoje - timedelta(days=2)
cincodias = hoje - timedelta(days=5)
dezdias = hoje - timedelta(days=10)
vintedias = hoje - timedelta(days=20)
ontem = hoje - timedelta(days=1)
xmli.dados_xml_grava_fsfiles(db, lote * 5, cincodias)
logger.info('Pegando arquivos XML')
processa_xml_mercante.get_arquivos_novos(connection)
processa_xml_mercante.xml_para_mercante(connection)
resume_mercante.mercante_resumo(connection)
mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, hoje, 10)
# carga.dados_carga_grava_fsfiles(db, lote * 2, doisdias)
anomalia_lote.processa_zscores(db, cincodias, ontem)
info_ade02.adquire_pesagens(db, cincodias, ontem)
info_ade02.pesagens_grava_fsfiles(db, cincodias, ontem)
atualiza_stats(db)
carga.cria_campo_pesos_carga(db, lote * 3)
carga.cria_campo_pesos_carga_pesagem(db, lote * 3)
# predictions_update2('ssd', 'bbox', lote, 4)
try:
print('TFS desligado...')
# predictions_update2('index', 'index', lote, 8)
except Exception as err:
logger.error(err, exc_info=True)
# gera_indexes()
# print(reload_indexes())
# tfs_predictions_update('vazio', lote, 20)
try:
# tfs_predictions_update('peso', lote, 20)
print('TFS desligado...')
except Exception as err:
logger.error(err, exc_info=True)
# predictions_update2('vaziosvm', 'vazio', lote, 4)
# predictions_update2('peso', 'peso', lote, 16)
try:
jupapi.novas_gmcis(connection)
except Exception as err:
logger.error(err, exc_info=True)
try:
conformidadeupdate.update_conformidade(db, connection)
# Depois de dez dias, desiste de atualizar os campos extras puxados do bbox
conformidadeupdate.preenche_bbox(db, connection, start=dezdias)
# Depois de vinte dias, desiste de atualizar os campos extras puxados do Carga
conformidadeupdate.completa_conformidade(db,
connection,
start=vintedias)
conformidadeupdate.preenche_isocode(db, connection, start=vintedias)
except Exception as err:
logger.error(err, exc_info=True)
def mercante_periodic(connection):
print('Iniciando atualizações...')
get_arquivos_novos(connection)
xml_para_mercante(connection)