def consolidar_tce(self, data_extracao):
# Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes
dicionario_dados = {
consolidacao.DESPESA_DESCRICAO: 'Item de Exibição',
consolidacao.CONTRATANTE_DESCRICAO: 'Órgão',
consolidacao.CONTRATADO_DESCRICAO: 'Credor',
consolidacao.CONTRATADO_CNPJ: 'CNPJ Fornecedor',
consolidacao.VALOR_CONTRATO: 'Preço Item'
}
# Lê o arquivo "xlsx" de aquisições nacionais baixado como um objeto pandas DataFrame
df_original = pd.read_excel(path.join(
config.diretorio_dados, 'BA', 'tce',
'MiranteRelDadosAbertosPainelPublicoCovid19Nacional.xlsx'),
usecols=[0, 1] + list(range(3, 16)))
# Chama a função "pre_processar_tce" definida neste módulo
df = self.pre_processar_tce(df_original)
# Chama a função "consolidar_layout" definida em módulo importado
df = consolidar_layout(
df, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_BA, 'BA', '',
data_extracao)
return df
def __consolidar_despesas_capital(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'NomeOrgao',
consolidacao.CONTRATADO_CNPJ: 'Credor',
consolidacao.CONTRATADO_DESCRICAO: 'NomeCredor',
consolidacao.VALOR_CONTRATO: 'Valor',
consolidacao.DOCUMENTO_NUMERO: 'EmpenhoExercicio',
consolidacao.DOCUMENTO_DATA: 'Data',
consolidacao.TIPO_DOCUMENTO: 'TipoAto',
consolidacao.DESPESA_DESCRICAO: 'ObjetoContrato',
}
planilha_original = path.join(
config.diretorio_dados, 'RJ', 'portal_transparencia',
'Rio de Janeiro', '_arquivos_Open_Data_Desp_Ato_Covid19_2020.txt')
df_original = pd.read_csv(planilha_original,
sep=';',
encoding='ISO-8859-1')
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Rio_despesas_por_ato
codigo_municipio_ibge = get_codigo_municipio_por_nome(
'Rio de Janeiro', 'RJ')
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_MUNICIPAL, fonte_dados,
'RJ', codigo_municipio_ibge, data_extracao,
self.pos_processar)
return df
def __consolidar_compras_diretas(self, data_extracao):
dicionario_dados = {
consolidacao.DESPESA_DESCRICAO: 'Objeto',
consolidacao.CONTRATANTE_DESCRICAO: 'Unidade',
consolidacao.CONTRATADO_DESCRICAO: 'Fornecedor',
consolidacao.VALOR_CONTRATO: 'Valor Processo'
}
# Renomeia o arquivo
diretorio = path.join(config.diretorio_dados, 'RJ')
arquivos = os.listdir(diretorio)
nome_arquivo = 'tce_rj_compras_diretas.xlsx'
for arquivo in arquivos:
if '.xlsx' in arquivo:
os.rename(path.join(diretorio, arquivo),
path.join(diretorio, nome_arquivo))
break
planilha_original = path.join(config.diretorio_dados, 'RJ',
nome_arquivo)
df_original = pd.read_excel(planilha_original)
fonte_dados = consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_RJ
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'RJ',
'', data_extracao)
return df
def __consolidar_arquivo(self, data_extracao, arquivo):
# Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes
dicionario_dados = {
consolidacao.DESPESA_DESCRICAO: 'Histórico do Pedido de Empenho',
consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF',
consolidacao.CONTRATADO_DESCRICAO: 'Credor',
consolidacao.VALOR_CONTRATO: 'Valor',
consolidacao.CONTRATANTE_DESCRICAO: 'UO'
}
# Lê o arquivo "xls" de contratos baixado como um objeto list utilizando a função "read_html" da biblioteca pandas
df_original = pd.read_html(path.join(config.diretorio_dados, 'RR',
'portal_transparencia', arquivo),
decimal=',')
# Chama a função "pre_processar_pt_RR" definida neste módulo
df = self.pre_processar_pt_RR(df_original)
# Chama a função "consolidar_layout" definida em módulo importado
df = consolidar_layout(
df, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' +
config.url_pt_RR, 'RR', '', data_extracao)
return df
def consolidar_pt_PB(self, data_extracao):
# Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes
dicionario_dados = {
consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF Favorecido',
consolidacao.CONTRATADO_DESCRICAO: 'Nome Favorecido',
consolidacao.DESPESA_DESCRICAO: 'Objetivo',
consolidacao.VALOR_CONTRATO: 'Valor',
consolidacao.CONTRATANTE_DESCRICAO: 'Órgão'
}
# Lê o arquivo "xlsx" de contratos baixado como um objeto pandas DataFrame selecionando as linhas e colunas úteis
df_original = pd.read_excel(path.join(config.diretorio_dados, 'PB',
'portal_transparencia',
'Paraiba',
'ListaContratos.xlsx'),
usecols=[0, 3, 4, 5, 6, 7, 9, 11],
skiprows=list(range(4)))
# Chama a função "pre_processar_pt_PB" definida neste módulo
df = self.pre_processar_pt_PB(df_original)
# Chama a função "consolidar_layout" definida em módulo importado
df = consolidar_layout(
df, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' +
config.url_pt_PB, 'PB', '', data_extracao)
return df
def consolidar_pt_SE(self, data_extracao):
# Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'Unidade',
consolidacao.DOCUMENTO_NUMERO: 'Nº do empenho',
consolidacao.CONTRATADO_DESCRICAO: 'Razão Social Favorecido',
consolidacao.CONTRATADO_CNPJ: 'CNPJ Favorecido',
consolidacao.DESPESA_DESCRICAO: 'Elemento',
consolidacao.VALOR_CONTRATO: 'Valor Acumulado (R$)'
}
# Lê o arquivo "xlsx" de nome "Dados_Portal_Transparencia_Sergipe" de contratos baixado como um objeto pandas DataFrame
df_empenhos = pd.read_excel(path.join(
config.diretorio_dados, 'SE', 'portal_transparencia', 'Sergipe',
'Dados_Portal_Transparencia_Sergipe.xlsx'),
sheet_name='Empenhos')
df_liquidacoes = pd.read_excel(path.join(
config.diretorio_dados, 'SE', 'portal_transparencia', 'Sergipe',
'Dados_Portal_Transparencia_Sergipe.xlsx'),
sheet_name='Liquidações')
# Chama a função "pre_processar_pt_SE" definida neste módulo
df = self.pre_processar_pt_SE(df_empenhos, df_liquidacoes)
# Chama a função "consolidar_layout" definida em módulo importado
df = consolidar_layout(
df, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' +
config.url_pt_SE, 'SE', '', data_extracao)
df[consolidacao.TIPO_DOCUMENTO] = 'Empenho'
return df
def consolidar_tce(self, data_extracao):
# Objeto dict em que os valores têm chaves que retratam campos considerados mais importantes
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'Órgão',
consolidacao.DESPESA_DESCRICAO: 'Objeto',
consolidacao.VALOR_CONTRATO: 'Valor Homologado',
consolidacao.CONTRATADO_DESCRICAO: 'Vencedor Licitação'
}
# Lê o arquivo "xls" de licitações baixado como um objeto list utilizando a função "read_html" da biblioteca pandas
df_original = pd.read_html(path.join(config.diretorio_dados, 'RS',
'tce',
'licitações_-_covid-19.xls'),
decimal=',')
# Chama a função "pre_processar_tce" definida neste módulo
df = self.pre_processar_tce(df_original)
# Chama a função "consolidar_layout" definida em módulo importado
df = consolidar_layout(
df, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_RS, 'RS', '',
data_extracao)
return df
def consolidar_contratos(self, data_extracao):
dicionario_dados = {consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO', consolidacao.CONTRATADO_CNPJ: 'CNPJ',
consolidacao.DESPESA_DESCRICAO: 'OBJETO', consolidacao.VALOR_CONTRATO: 'VALOR'}
planilha_original = path.join(config.diretorio_dados, 'BA', 'portal_transparencia', 'contratos.xls')
df_original = pd.read_excel(planilha_original, header=4)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_BA
df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'BA', '',
data_extracao, None)
return df
def __processar_df_original(self, data_extracao, df_original,
dicionario_dados):
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Recife
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_MUNICIPAL, fonte_dados,
'PE',
get_codigo_municipio_por_nome('Recife', 'PE'),
data_extracao,
self.pos_processar_consolidar_dispensas)
return df
def __consolidar_portal_transparencia_estado(self, data_extracao):
dicionario_dados = {consolidacao.CONTRATADO_DESCRICAO: 'contratado',
consolidacao.CONTRATADO_CNPJ: ' cnpj_cpf_contratado',
consolidacao.CONTRATANTE_DESCRICAO: 'orgao_contratante',
consolidacao.DESPESA_DESCRICAO: ' descricao_servico',
consolidacao.VALOR_CONTRATO: 'valor_total'}
planilha_original = path.join(config.diretorio_dados, 'MA', 'portal_transparencia', 'contratos.xls')
df_original = pd.read_excel(planilha_original, header=4)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_MA
df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
fonte_dados, 'MA', '', data_extracao)
return df
def __consolidar_portal_transparencia_capital(self, data_extracao):
dicionario_dados = {consolidacao.VALOR_CONTRATO: 'Valor do Contrato (R$)',
consolidacao.DESPESA_DESCRICAO: 'Descrição', consolidacao.CONTRATADO_DESCRICAO: 'Empresa',
consolidacao.CONTRATADO_CNPJ: 'CNPJ',
consolidacao.CONTRATANTE_DESCRICAO: 'Unidade Contratante'}
planilha_original = path.join(config.diretorio_dados, 'MA', 'portal_transparencia', 'São Luís',
'contratacoes.xls')
df_original = pd.read_excel(planilha_original, header=4)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_SaoLuis
df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL,
fonte_dados, 'MA', get_codigo_municipio_por_nome('São Luís', 'MA'), data_extracao,
self.pos_processar_portal_transparencia_capital)
return df
def consolidar_PT(self, data_extracao):
dicionario_dados = {consolidacao.CONTRATANTE_DESCRICAO: 'Secretaria',
consolidacao.CONTRATADO_DESCRICAO: 'Contratada / Conveniada',
consolidacao.CONTRATADO_CNPJ: 'CPF / CNPJ / CGC',
consolidacao.DESPESA_DESCRICAO: 'Descrição Processo',
consolidacao.DOCUMENTO_NUMERO: 'Nota de Empenho',
consolidacao.DOCUMENTO_DATA: 'Data da Movimentação'}
df_original = pd.read_csv(path.join(config.diretorio_dados, 'SP', 'portal_transparencia', 'COVID.csv'),
encoding='ISO-8859-1', sep=';')
df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_SP, 'SP',
None, data_extracao)
df[consolidacao.TIPO_DOCUMENTO] = 'Empenho'
return df
def __consolidar_aquisicoes(self, data_extracao):
dicionario_dados = {
consolidacao.DESPESA_DESCRICAO: 'Objeto',
consolidacao.VALOR_CONTRATO: 'Valor',
consolidacao.CONTRATADO_DESCRICAO: 'Credor',
consolidacao.CONTRATADO_CNPJ: 'CPF_CNPJ_COTACOES',
consolidacao.CONTRATANTE_DESCRICAO: 'Local de Execução'
}
planilha_original = path.join(config.diretorio_dados, 'GO',
'portal_transparencia', 'aquisicoes.csv')
df_original = pd.read_csv(planilha_original)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_GO
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'GO',
'', data_extracao)
return df
def __consolidar_compras(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'Órgão Demandante',
consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ do Contratado',
consolidacao.CONTRATADO_DESCRICAO: 'Contratado',
consolidacao.DESPESA_DESCRICAO: 'Objeto do Processo',
consolidacao.VALOR_CONTRATO: 'Valor Homologado'
}
planilha_original = path.join(config.diretorio_dados, 'MG',
'portal_transparencia', 'compras.xls')
df_original = pd.read_excel(planilha_original, header=4)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_MG
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'MG',
'', data_extracao)
return df
def consolidar_pt_RN(self, data_extracao):
# Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes
dicionario_dados = {consolidacao.CONTRATANTE_DESCRICAO: 'Contratante',
consolidacao.DESPESA_DESCRICAO: 'Objeto',
consolidacao.CONTRATADO_DESCRICAO: 'Contratado (a)',
consolidacao.VALOR_CONTRATO: 'Valor do Contrato (R$)',
consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF'}
df_original = pd.read_excel(
path.join(config.diretorio_dados, 'RN', 'portal_transparencia', 'compras_e_servicos.xls'), header=4)
# Chama a função "consolidar_layout" definida em módulo importado
df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_RN, 'RN', '',
data_extracao)
return df
def consolidar_contratos(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPFfornecedor',
consolidacao.CONTRATADO_DESCRICAO: 'Nomefornecedor',
consolidacao.DESPESA_DESCRICAO: 'Objeto',
consolidacao.CONTRATANTE_DESCRICAO: 'Nome UG',
consolidacao.VALOR_CONTRATO: 'Valor atual'
}
df_original = pd.read_excel(
path.join(config.diretorio_dados, 'AM', 'portal_transparencia',
'contratos.xls'))
df = consolidar_layout(
df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' +
config.url_pt_AM, 'AM', '', data_extracao)
return df
def consolidar_contratacoes(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'orgao_sigla',
consolidacao.DESPESA_DESCRICAO: 'ic_descricao',
consolidacao.CONTRATADO_CNPJ: 'fornecedor_cnpj_cpf',
consolidacao.CONTRATADO_DESCRICAO: 'fornecedor_razao_social',
consolidacao.VALOR_CONTRATO: 'ic_valor_total'
}
planilha_original = path.join(config.diretorio_dados, 'AP',
'portal_transparencia', 'contratos.xlsx')
df_original = pd.read_excel(planilha_original)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_AP
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'AP',
'', data_extracao)
df = df.astype({consolidacao.CONTRATADO_CNPJ: str})
return df
def __consolidar_dispensas_municipios(self, data_extracao):
dicionario_dados = {
consolidacao.DESPESA_DESCRICAO: '\nObjeto\n',
consolidacao.VALOR_CONTRATO: '\nValor\r\n R$\n',
consolidacao.CONTRATANTE_DESCRICAO: '\nEnte\n',
consolidacao.CONTRATADO_DESCRICAO: '\nFornecedor\n'
}
df_original = pd.read_excel(path.join(config.diretorio_dados, 'AC',
'tce',
'dispensas_municipios.xls'),
header=4)
df = consolidar_layout(
df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL,
consolidacao.TIPO_FONTE_TCE + ' - ' +
config.url_tce_AC_despesas_municipios, 'AC', '', data_extracao,
self.pos_processar_dispensas_municipios)
return df
def __consolidar_dados_portal_transparencia(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'ÓRGÃO',
consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO',
consolidacao.CONTRATADO_CNPJ: 'CNPJ',
consolidacao.DESPESA_DESCRICAO: 'OBJETO',
consolidacao.VALOR_CONTRATO: 'VALOR TOTAL'
}
planilha_original = path.join(config.diretorio_dados, 'DF',
'portal_transparencia',
'PLANILHA-COVID2.csv')
df_original = pd.read_csv(planilha_original, sep=';')
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_DF
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'DF',
'', data_extracao)
return df
def __consolidar_despesas_capital(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'orgao',
consolidacao.CONTRATADO_DESCRICAO: 'nomefornecedor',
consolidacao.CONTRATADO_CNPJ: 'fornecedor',
consolidacao.DESPESA_DESCRICAO: 'itemclassificacaodespesa'
}
planilha_original = path.join(config.diretorio_dados, 'MS',
'portal_transparencia', 'Campo Grande',
'despesas.xlsx')
df_original = pd.read_excel(planilha_original, header=1)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_CampoGrande
df = consolidar_layout(
df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL,
fonte_dados, 'MS',
get_codigo_municipio_por_nome('Campo Grande', 'MS'), data_extracao,
self.pos_processar_despesas_capital)
return df
def __consolidar_licitacoes(self, data_extracao):
dicionario_dados = {
consolidacao.MUNICIPIO_DESCRICAO: 'ENTE',
consolidacao.CONTRATANTE_DESCRICAO: 'UNIDADE',
consolidacao.DESPESA_DESCRICAO: 'OBJETO',
consolidacao.VALOR_CONTRATO: 'VALOR',
consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO',
consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ'
}
planilha_original = path.join(config.diretorio_dados, 'MA', 'tce',
'licitacoes.xls')
df_original = pd.read_excel(planilha_original, header=1)
fonte_dados = consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_MA
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'MA',
'', data_extracao,
self.pos_processar_licitacoes)
return df
def consolidar_pt_Natal(self, data_extracao):
# Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes
dicionario_dados = {consolidacao.CONTRATADO_DESCRICAO: 'Fornecedor',
consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF Fornecedor',
consolidacao.CONTRATANTE_DESCRICAO: 'Orgão Contratante',
consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.VALOR_CONTRATO: 'Valor Total'}
# Lê o arquivo "xlsx" de nome de despesas baixado como um objeto pandas DataFrame
df_original = pd.read_excel(
path.join(config.diretorio_dados, 'RN', 'portal_transparencia', 'Natal', 'contratos.xls'),
header=4)
# Chama a função "consolidar_layout" definida em módulo importado
df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Natal, 'RN',
get_codigo_municipio_por_nome('Natal', 'RN'), data_extracao)
df[consolidacao.MUNICIPIO_DESCRICAO] = 'Natal'
return df
def __consolidar_despesas(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATADO_CNPJ: 'cpf_cnpj_contratado',
consolidacao.DESPESA_DESCRICAO: 'objeto',
consolidacao.CONTRATANTE_DESCRICAO: 'orgao_contratante',
consolidacao.CONTRATADO_DESCRICAO: 'nome_contratado',
consolidacao.DOCUMENTO_NUMERO: 'nota_empenho',
consolidacao.VALOR_CONTRATO: 'valor_total'
}
df_original = pd.read_excel(
path.join(config.diretorio_dados, 'AL', 'portal_transparencia',
'despesas.xlsx'))
df = consolidar_layout(
df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' +
config.url_pt_AL, 'AL', '', data_extracao)
df[consolidacao.TIPO_DOCUMENTO] = 'EMPENHO'
return df, False
def __consolidar_aquisicoes(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'orgao',
consolidacao.DESPESA_DESCRICAO: 'objeto',
consolidacao.VALOR_CONTRATO: 'valor_total_solicitacao',
consolidacao.CONTRATADO_CNPJ: 'cpf_cnpj_fornecedor',
consolidacao.CONTRATADO_DESCRICAO: 'fornecedor'
}
planilha_original = path.join(config.diretorio_dados, 'PR',
'portal_transparencia',
'TB_DISPENSAS_INEXIGIBILIDADE-2020.csv')
df_original = pd.read_csv(planilha_original, sep=';')
df = consolidar_layout(
df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' +
config.url_pt_PR, 'PR', '', data_extracao, self.pos_processar)
return df
def __consolidar_portal_transparencia_capital(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ',
consolidacao.CONTRATADO_DESCRICAO: 'Nome',
consolidacao.DESPESA_DESCRICAO: 'Objeto',
consolidacao.CONTRATANTE_DESCRICAO: 'Secretaria',
consolidacao.VALOR_CONTRATO: 'Valor Total'
}
df_original = pd.read_excel(path.join(config.diretorio_dados, 'AC',
'portal_transparencia',
'Rio Branco', 'webexcel.xls'),
header=11)
df = consolidar_layout(
df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL,
consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' +
config.url_pt_RioBranco, 'AC',
get_codigo_municipio_por_nome('Rio Branco', 'AC'), data_extracao,
self.pos_processar_portal_transparencia_capital)
return df
def consolidar_contratacoes_capital(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATADO_CNPJ: 'Contratado - CNPJ / CPF',
consolidacao.DESPESA_DESCRICAO: 'Descrição de bem ou serviço',
consolidacao.CONTRATANTE_DESCRICAO: 'Órgão Contratante',
consolidacao.VALOR_CONTRATO: 'Valor contratado'
}
planilha_original = path.join(config.diretorio_dados, 'AP',
'portal_transparencia', 'Macapa',
'contratacoes.xls')
df_original = pd.read_excel(planilha_original, header=4)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Macapa
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_MUNICIPAL, fonte_dados,
'AP',
get_codigo_municipio_por_nome('Macapá', 'AP'),
data_extracao,
self.pos_processar_contratacoes_capital)
return df
def __consolidar_contratacoes_capital(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'ORGAO_ENTIDADE',
consolidacao.CONTRATADO_CNPJ: 'CNPJ_CPF_CONTRATADO',
consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO',
consolidacao.DESPESA_DESCRICAO: 'OBJETO',
consolidacao.VALOR_CONTRATO: 'VALOR_TOTAL'
}
planilha_original = path.join(config.diretorio_dados, 'MG',
'portal_transparencia', 'Belo Horizonte',
'contratacaocorona.xlsx')
df_original = pd.read_excel(planilha_original)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_BeloHorizonte
df = consolidar_layout(
df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL,
fonte_dados, 'MG',
get_codigo_municipio_por_nome('Belo Horizonte', 'MG'),
data_extracao, self.pos_processar_contratacoes_capital)
return df
def __consolidar_gastos(self, data_extracao):
dicionario_dados = {
consolidacao.DOCUMENTO_NUMERO: 'numero_empenho',
consolidacao.DOCUMENTO_DATA: 'data_empenho',
consolidacao.CONTRATANTE_DESCRICAO: 'orgao',
consolidacao.CONTRATADO_DESCRICAO: 'credor',
consolidacao.VALOR_CONTRATO: 'valor_empenho',
consolidacao.DESPESA_DESCRICAO: 'item'
}
planilha_original = path.join(config.diretorio_dados, 'CE',
'portal_transparencia',
'gasto_covid_dados_abertos.xlsx')
df_original = pd.read_excel(planilha_original)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_CE
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'CE',
'', data_extracao)
df[consolidacao.TIPO_DOCUMENTO] = 'Empenho'
return df
def __consolidar_contratos(self, data_extracao):
dicionario_dados = {
consolidacao.CONTRATANTE_DESCRICAO: 'Órgão',
consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ',
consolidacao.CONTRATADO_DESCRICAO: 'Contratado',
consolidacao.DESPESA_DESCRICAO: 'Objeto',
consolidacao.TIPO_DOCUMENTO: 'Instrumento',
consolidacao.DOCUMENTO_NUMERO: 'Número',
consolidacao.DOCUMENTO_DATA: 'Data',
consolidacao.VALOR_CONTRATO: 'Total'
}
planilha_original = path.join(config.diretorio_dados, 'TO',
'portal_transparencia', 'contratos.xls')
df_original = pd.read_excel(planilha_original, header=4)
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_TO
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_ESTADUAL, fonte_dados, 'TO',
'', data_extracao)
return df
def __consolidar_aquisicoes_capital(self, data_extracao):
dicionario_dados = {
consolidacao.DOCUMENTO_DATA: 'Data',
consolidacao.DOCUMENTO_NUMERO: 'Documento/Empenho',
consolidacao.CONTRATANTE_DESCRICAO: 'Órgão',
consolidacao.VALOR_CONTRATO: 'Valor R$'
}
planilha_original = path.join(
config.diretorio_dados, 'PR', 'portal_transparencia', 'Curitiba',
'Aquisições_para_enfrentamento_da_pandemia_do_COVID-19_-_Transparência_Curitiba.csv'
)
df_original = pd.read_csv(planilha_original, sep=';')
fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Curitiba_aquisicoes
codigo_municipio_ibge = get_codigo_municipio_por_nome('Curitiba', 'PR')
df = consolidar_layout(df_original, dicionario_dados,
consolidacao.ESFERA_MUNICIPAL, fonte_dados,
'PR', codigo_municipio_ibge, data_extracao,
pos_processar)
return df
