Esempio n. 1
0
def periodic_updates(db, connection, lote=2000):
    print('Iniciando atualizações...')
    hoje = datetime.combine(date.today(), datetime.min.time())
    doisdias = hoje - timedelta(days=2)
    cincodias = hoje - timedelta(days=5)
    dezdias = hoje - timedelta(days=10)
    ontem = hoje - timedelta(days=1)
    xmli.dados_xml_grava_fsfiles(db, lote * 5, cincodias)
    processa_xml_mercante.get_arquivos_novos(connection)
    processa_xml_mercante.xml_para_mercante(connection)
    resume_mercante.mercante_resumo(connection)
    mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, hoje, 10)
    # carga.dados_carga_grava_fsfiles(db, lote * 2, doisdias)
    anomalia_lote.processa_zscores(db, cincodias, ontem)
    info_ade02.adquire_pesagens(db, cincodias, ontem)
    info_ade02.pesagens_grava_fsfiles(db, cincodias, ontem)
    atualiza_stats(db)
    carga.cria_campo_pesos_carga(db, lote * 3)
    carga.cria_campo_pesos_carga_pesagem(db, lote * 3)
    # predictions_update2('ssd', 'bbox', lote, 4)
    predictions_update2('index', 'index', lote, 8)
    # gera_indexes()
    # print(reload_indexes())
    tfs_predictions_update('vazio', lote, 20)
    tfs_predictions_update('peso', lote, 20)
    # predictions_update2('vaziosvm', 'vazio', lote, 4)
    # predictions_update2('peso', 'peso', lote, 16)
    try:
        jupapi.novas_gmcis(connection)
    except Exception as err:
        print(err)
def update(dias, fim):
    """Script de linha de comando para integração do arquivo XML."""
    end = datetime.strptime(fim, '%d/%m/%Y')
    print('Começando a integração... Fim %s  Dias antes %s' % (fim, dias))
    connection = create_engine(SQL_URI)
    tempo = time.time()
    processa_xml_mercante.get_arquivos_novos(connection)
    processa_xml_mercante.xml_para_mercante(connection)
    resume_mercante.mercante_resumo(connection)
    mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, end, dias)
    tempototal = time.time() - tempo
    print('Tempo total: %s' % tempototal)
Esempio n. 3
0
def periodic_updates(db, connection, lote=2000):
    print('Iniciando atualizações...')
    hoje = datetime.combine(date.today(), datetime.min.time())
    doisdias = hoje - timedelta(days=2)
    cincodias = hoje - timedelta(days=5)
    dezdias = hoje - timedelta(days=10)
    vintedias = hoje - timedelta(days=20)
    ontem = hoje - timedelta(days=1)
    xmli.dados_xml_grava_fsfiles(db, lote * 5, cincodias)
    logger.info('Pegando arquivos XML')
    processa_xml_mercante.get_arquivos_novos(connection)
    processa_xml_mercante.xml_para_mercante(connection)
    resume_mercante.mercante_resumo(connection)
    mercante_fsfiles.update_mercante_fsfiles_dias(db, connection, hoje, 10)
    # carga.dados_carga_grava_fsfiles(db, lote * 2, doisdias)
    anomalia_lote.processa_zscores(db, cincodias, ontem)
    info_ade02.adquire_pesagens(db, cincodias, ontem)
    info_ade02.pesagens_grava_fsfiles(db, cincodias, ontem)
    atualiza_stats(db)
    carga.cria_campo_pesos_carga(db, lote * 3)
    carga.cria_campo_pesos_carga_pesagem(db, lote * 3)
    # predictions_update2('ssd', 'bbox', lote, 4)
    try:
        print('TFS desligado...')
        # predictions_update2('index', 'index', lote, 8)
    except Exception as err:
        logger.error(err, exc_info=True)
    # gera_indexes()
    # print(reload_indexes())
    # tfs_predictions_update('vazio', lote, 20)
    try:
        # tfs_predictions_update('peso', lote, 20)
        print('TFS desligado...')
    except Exception as err:
        logger.error(err, exc_info=True)
    # predictions_update2('vaziosvm', 'vazio', lote, 4)
    # predictions_update2('peso', 'peso', lote, 16)
    try:
        jupapi.novas_gmcis(connection)
    except Exception as err:
        logger.error(err, exc_info=True)
    try:
        conformidadeupdate.update_conformidade(db, connection)
        # Depois de dez dias, desiste de atualizar os campos extras puxados do bbox
        conformidadeupdate.preenche_bbox(db, connection, start=dezdias)
        # Depois de vinte dias, desiste de atualizar os campos extras puxados do Carga
        conformidadeupdate.completa_conformidade(db,
                                                 connection,
                                                 start=vintedias)
        conformidadeupdate.preenche_isocode(db, connection, start=vintedias)
    except Exception as err:
        logger.error(err, exc_info=True)