def periodic_updates(db, connection, lote=2000): print('Iniciando atualizações...') hoje = datetime.combine(date.today(), datetime.min.time()) doisdias = hoje - timedelta(days=2) cincodias = hoje - timedelta(days=5) dezdias = hoje - timedelta(days=10) ontem = hoje - timedelta(days=1) xmli.dados_xml_grava_fsfiles(db, lote * 5, cincodias) processa_xml_mercante.get_arquivos_novos(connection) processa_xml_mercante.xml_para_mercante(connection) resume_mercante.mercante_resumo(connection) mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, hoje, 10) # carga.dados_carga_grava_fsfiles(db, lote * 2, doisdias) anomalia_lote.processa_zscores(db, cincodias, ontem) info_ade02.adquire_pesagens(db, cincodias, ontem) info_ade02.pesagens_grava_fsfiles(db, cincodias, ontem) atualiza_stats(db) carga.cria_campo_pesos_carga(db, lote * 3) carga.cria_campo_pesos_carga_pesagem(db, lote * 3) # predictions_update2('ssd', 'bbox', lote, 4) predictions_update2('index', 'index', lote, 8) # gera_indexes() # print(reload_indexes()) tfs_predictions_update('vazio', lote, 20) tfs_predictions_update('peso', lote, 20) # predictions_update2('vaziosvm', 'vazio', lote, 4) # predictions_update2('peso', 'peso', lote, 16) try: jupapi.novas_gmcis(connection) except Exception as err: print(err)
def update(dias, fim): """Script de linha de comando para integração do arquivo XML.""" end = datetime.strptime(fim, '%d/%m/%Y') print('Começando a integração... Fim %s Dias antes %s' % (fim, dias)) connection = create_engine(SQL_URI) tempo = time.time() processa_xml_mercante.get_arquivos_novos(connection) processa_xml_mercante.xml_para_mercante(connection) resume_mercante.mercante_resumo(connection) mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, end, dias) tempototal = time.time() - tempo print('Tempo total: %s' % tempototal)
def periodic_updates(db, connection, lote=2000): print('Iniciando atualizações...') hoje = datetime.combine(date.today(), datetime.min.time()) doisdias = hoje - timedelta(days=2) cincodias = hoje - timedelta(days=5) dezdias = hoje - timedelta(days=10) vintedias = hoje - timedelta(days=20) ontem = hoje - timedelta(days=1) xmli.dados_xml_grava_fsfiles(db, lote * 5, cincodias) logger.info('Pegando arquivos XML') processa_xml_mercante.get_arquivos_novos(connection) processa_xml_mercante.xml_para_mercante(connection) resume_mercante.mercante_resumo(connection) mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, hoje, 10) # carga.dados_carga_grava_fsfiles(db, lote * 2, doisdias) anomalia_lote.processa_zscores(db, cincodias, ontem) info_ade02.adquire_pesagens(db, cincodias, ontem) info_ade02.pesagens_grava_fsfiles(db, cincodias, ontem) atualiza_stats(db) carga.cria_campo_pesos_carga(db, lote * 3) carga.cria_campo_pesos_carga_pesagem(db, lote * 3) # predictions_update2('ssd', 'bbox', lote, 4) try: print('TFS desligado...') # predictions_update2('index', 'index', lote, 8) except Exception as err: logger.error(err, exc_info=True) # gera_indexes() # print(reload_indexes()) # tfs_predictions_update('vazio', lote, 20) try: # tfs_predictions_update('peso', lote, 20) print('TFS desligado...') except Exception as err: logger.error(err, exc_info=True) # predictions_update2('vaziosvm', 'vazio', lote, 4) # predictions_update2('peso', 'peso', lote, 16) try: jupapi.novas_gmcis(connection) except Exception as err: logger.error(err, exc_info=True) try: conformidadeupdate.update_conformidade(db, connection) # Depois de dez dias, desiste de atualizar os campos extras puxados do bbox conformidadeupdate.preenche_bbox(db, connection, start=dezdias) # Depois de vinte dias, desiste de atualizar os campos extras puxados do Carga conformidadeupdate.completa_conformidade(db, connection, start=vintedias) conformidadeupdate.preenche_isocode(db, connection, start=vintedias) except Exception as err: logger.error(err, exc_info=True)