def consolidar_tce(self, data_extracao): # Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes dicionario_dados = { consolidacao.DESPESA_DESCRICAO: 'Item de Exibição', consolidacao.CONTRATANTE_DESCRICAO: 'Órgão', consolidacao.CONTRATADO_DESCRICAO: 'Credor', consolidacao.CONTRATADO_CNPJ: 'CNPJ Fornecedor', consolidacao.VALOR_CONTRATO: 'Preço Item' } # Lê o arquivo "xlsx" de aquisições nacionais baixado como um objeto pandas DataFrame df_original = pd.read_excel(path.join( config.diretorio_dados, 'BA', 'tce', 'MiranteRelDadosAbertosPainelPublicoCovid19Nacional.xlsx'), usecols=[0, 1] + list(range(3, 16))) # Chama a função "pre_processar_tce" definida neste módulo df = self.pre_processar_tce(df_original) # Chama a função "consolidar_layout" definida em módulo importado df = consolidar_layout( df, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_BA, 'BA', '', data_extracao) return df
def __consolidar_despesas_capital(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'NomeOrgao', consolidacao.CONTRATADO_CNPJ: 'Credor', consolidacao.CONTRATADO_DESCRICAO: 'NomeCredor', consolidacao.VALOR_CONTRATO: 'Valor', consolidacao.DOCUMENTO_NUMERO: 'EmpenhoExercicio', consolidacao.DOCUMENTO_DATA: 'Data', consolidacao.TIPO_DOCUMENTO: 'TipoAto', consolidacao.DESPESA_DESCRICAO: 'ObjetoContrato', } planilha_original = path.join( config.diretorio_dados, 'RJ', 'portal_transparencia', 'Rio de Janeiro', '_arquivos_Open_Data_Desp_Ato_Covid19_2020.txt') df_original = pd.read_csv(planilha_original, sep=';', encoding='ISO-8859-1') fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Rio_despesas_por_ato codigo_municipio_ibge = get_codigo_municipio_por_nome( 'Rio de Janeiro', 'RJ') df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, fonte_dados, 'RJ', codigo_municipio_ibge, data_extracao, self.pos_processar) return df
def __consolidar_compras_diretas(self, data_extracao): dicionario_dados = { consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.CONTRATANTE_DESCRICAO: 'Unidade', consolidacao.CONTRATADO_DESCRICAO: 'Fornecedor', consolidacao.VALOR_CONTRATO: 'Valor Processo' } # Renomeia o arquivo diretorio = path.join(config.diretorio_dados, 'RJ') arquivos = os.listdir(diretorio) nome_arquivo = 'tce_rj_compras_diretas.xlsx' for arquivo in arquivos: if '.xlsx' in arquivo: os.rename(path.join(diretorio, arquivo), path.join(diretorio, nome_arquivo)) break planilha_original = path.join(config.diretorio_dados, 'RJ', nome_arquivo) df_original = pd.read_excel(planilha_original) fonte_dados = consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_RJ df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'RJ', '', data_extracao) return df
def __consolidar_arquivo(self, data_extracao, arquivo): # Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes dicionario_dados = { consolidacao.DESPESA_DESCRICAO: 'Histórico do Pedido de Empenho', consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF', consolidacao.CONTRATADO_DESCRICAO: 'Credor', consolidacao.VALOR_CONTRATO: 'Valor', consolidacao.CONTRATANTE_DESCRICAO: 'UO' } # Lê o arquivo "xls" de contratos baixado como um objeto list utilizando a função "read_html" da biblioteca pandas df_original = pd.read_html(path.join(config.diretorio_dados, 'RR', 'portal_transparencia', arquivo), decimal=',') # Chama a função "pre_processar_pt_RR" definida neste módulo df = self.pre_processar_pt_RR(df_original) # Chama a função "consolidar_layout" definida em módulo importado df = consolidar_layout( df, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_RR, 'RR', '', data_extracao) return df
def consolidar_pt_PB(self, data_extracao): # Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes dicionario_dados = { consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF Favorecido', consolidacao.CONTRATADO_DESCRICAO: 'Nome Favorecido', consolidacao.DESPESA_DESCRICAO: 'Objetivo', consolidacao.VALOR_CONTRATO: 'Valor', consolidacao.CONTRATANTE_DESCRICAO: 'Órgão' } # Lê o arquivo "xlsx" de contratos baixado como um objeto pandas DataFrame selecionando as linhas e colunas úteis df_original = pd.read_excel(path.join(config.diretorio_dados, 'PB', 'portal_transparencia', 'Paraiba', 'ListaContratos.xlsx'), usecols=[0, 3, 4, 5, 6, 7, 9, 11], skiprows=list(range(4))) # Chama a função "pre_processar_pt_PB" definida neste módulo df = self.pre_processar_pt_PB(df_original) # Chama a função "consolidar_layout" definida em módulo importado df = consolidar_layout( df, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_PB, 'PB', '', data_extracao) return df
def consolidar_pt_SE(self, data_extracao): # Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'Unidade', consolidacao.DOCUMENTO_NUMERO: 'Nº do empenho', consolidacao.CONTRATADO_DESCRICAO: 'Razão Social Favorecido', consolidacao.CONTRATADO_CNPJ: 'CNPJ Favorecido', consolidacao.DESPESA_DESCRICAO: 'Elemento', consolidacao.VALOR_CONTRATO: 'Valor Acumulado (R$)' } # Lê o arquivo "xlsx" de nome "Dados_Portal_Transparencia_Sergipe" de contratos baixado como um objeto pandas DataFrame df_empenhos = pd.read_excel(path.join( config.diretorio_dados, 'SE', 'portal_transparencia', 'Sergipe', 'Dados_Portal_Transparencia_Sergipe.xlsx'), sheet_name='Empenhos') df_liquidacoes = pd.read_excel(path.join( config.diretorio_dados, 'SE', 'portal_transparencia', 'Sergipe', 'Dados_Portal_Transparencia_Sergipe.xlsx'), sheet_name='Liquidações') # Chama a função "pre_processar_pt_SE" definida neste módulo df = self.pre_processar_pt_SE(df_empenhos, df_liquidacoes) # Chama a função "consolidar_layout" definida em módulo importado df = consolidar_layout( df, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_SE, 'SE', '', data_extracao) df[consolidacao.TIPO_DOCUMENTO] = 'Empenho' return df
def consolidar_tce(self, data_extracao): # Objeto dict em que os valores têm chaves que retratam campos considerados mais importantes dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'Órgão', consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.VALOR_CONTRATO: 'Valor Homologado', consolidacao.CONTRATADO_DESCRICAO: 'Vencedor Licitação' } # Lê o arquivo "xls" de licitações baixado como um objeto list utilizando a função "read_html" da biblioteca pandas df_original = pd.read_html(path.join(config.diretorio_dados, 'RS', 'tce', 'licitações_-_covid-19.xls'), decimal=',') # Chama a função "pre_processar_tce" definida neste módulo df = self.pre_processar_tce(df_original) # Chama a função "consolidar_layout" definida em módulo importado df = consolidar_layout( df, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_RS, 'RS', '', data_extracao) return df
def consolidar_contratos(self, data_extracao): dicionario_dados = {consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO', consolidacao.CONTRATADO_CNPJ: 'CNPJ', consolidacao.DESPESA_DESCRICAO: 'OBJETO', consolidacao.VALOR_CONTRATO: 'VALOR'} planilha_original = path.join(config.diretorio_dados, 'BA', 'portal_transparencia', 'contratos.xls') df_original = pd.read_excel(planilha_original, header=4) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_BA df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'BA', '', data_extracao, None) return df
def __processar_df_original(self, data_extracao, df_original, dicionario_dados): fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Recife df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, fonte_dados, 'PE', get_codigo_municipio_por_nome('Recife', 'PE'), data_extracao, self.pos_processar_consolidar_dispensas) return df
def __consolidar_portal_transparencia_estado(self, data_extracao): dicionario_dados = {consolidacao.CONTRATADO_DESCRICAO: 'contratado', consolidacao.CONTRATADO_CNPJ: ' cnpj_cpf_contratado', consolidacao.CONTRATANTE_DESCRICAO: 'orgao_contratante', consolidacao.DESPESA_DESCRICAO: ' descricao_servico', consolidacao.VALOR_CONTRATO: 'valor_total'} planilha_original = path.join(config.diretorio_dados, 'MA', 'portal_transparencia', 'contratos.xls') df_original = pd.read_excel(planilha_original, header=4) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_MA df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'MA', '', data_extracao) return df
def __consolidar_portal_transparencia_capital(self, data_extracao): dicionario_dados = {consolidacao.VALOR_CONTRATO: 'Valor do Contrato (R$)', consolidacao.DESPESA_DESCRICAO: 'Descrição', consolidacao.CONTRATADO_DESCRICAO: 'Empresa', consolidacao.CONTRATADO_CNPJ: 'CNPJ', consolidacao.CONTRATANTE_DESCRICAO: 'Unidade Contratante'} planilha_original = path.join(config.diretorio_dados, 'MA', 'portal_transparencia', 'São Luís', 'contratacoes.xls') df_original = pd.read_excel(planilha_original, header=4) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_SaoLuis df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, fonte_dados, 'MA', get_codigo_municipio_por_nome('São Luís', 'MA'), data_extracao, self.pos_processar_portal_transparencia_capital) return df
def consolidar_PT(self, data_extracao): dicionario_dados = {consolidacao.CONTRATANTE_DESCRICAO: 'Secretaria', consolidacao.CONTRATADO_DESCRICAO: 'Contratada / Conveniada', consolidacao.CONTRATADO_CNPJ: 'CPF / CNPJ / CGC', consolidacao.DESPESA_DESCRICAO: 'Descrição Processo', consolidacao.DOCUMENTO_NUMERO: 'Nota de Empenho', consolidacao.DOCUMENTO_DATA: 'Data da Movimentação'} df_original = pd.read_csv(path.join(config.diretorio_dados, 'SP', 'portal_transparencia', 'COVID.csv'), encoding='ISO-8859-1', sep=';') df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_SP, 'SP', None, data_extracao) df[consolidacao.TIPO_DOCUMENTO] = 'Empenho' return df
def __consolidar_aquisicoes(self, data_extracao): dicionario_dados = { consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.VALOR_CONTRATO: 'Valor', consolidacao.CONTRATADO_DESCRICAO: 'Credor', consolidacao.CONTRATADO_CNPJ: 'CPF_CNPJ_COTACOES', consolidacao.CONTRATANTE_DESCRICAO: 'Local de Execução' } planilha_original = path.join(config.diretorio_dados, 'GO', 'portal_transparencia', 'aquisicoes.csv') df_original = pd.read_csv(planilha_original) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_GO df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'GO', '', data_extracao) return df
def __consolidar_compras(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'Órgão Demandante', consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ do Contratado', consolidacao.CONTRATADO_DESCRICAO: 'Contratado', consolidacao.DESPESA_DESCRICAO: 'Objeto do Processo', consolidacao.VALOR_CONTRATO: 'Valor Homologado' } planilha_original = path.join(config.diretorio_dados, 'MG', 'portal_transparencia', 'compras.xls') df_original = pd.read_excel(planilha_original, header=4) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_MG df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'MG', '', data_extracao) return df
def consolidar_pt_RN(self, data_extracao): # Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes dicionario_dados = {consolidacao.CONTRATANTE_DESCRICAO: 'Contratante', consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.CONTRATADO_DESCRICAO: 'Contratado (a)', consolidacao.VALOR_CONTRATO: 'Valor do Contrato (R$)', consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF'} df_original = pd.read_excel( path.join(config.diretorio_dados, 'RN', 'portal_transparencia', 'compras_e_servicos.xls'), header=4) # Chama a função "consolidar_layout" definida em módulo importado df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_RN, 'RN', '', data_extracao) return df
def consolidar_contratos(self, data_extracao): dicionario_dados = { consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPFfornecedor', consolidacao.CONTRATADO_DESCRICAO: 'Nomefornecedor', consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.CONTRATANTE_DESCRICAO: 'Nome UG', consolidacao.VALOR_CONTRATO: 'Valor atual' } df_original = pd.read_excel( path.join(config.diretorio_dados, 'AM', 'portal_transparencia', 'contratos.xls')) df = consolidar_layout( df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_AM, 'AM', '', data_extracao) return df
def consolidar_contratacoes(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'orgao_sigla', consolidacao.DESPESA_DESCRICAO: 'ic_descricao', consolidacao.CONTRATADO_CNPJ: 'fornecedor_cnpj_cpf', consolidacao.CONTRATADO_DESCRICAO: 'fornecedor_razao_social', consolidacao.VALOR_CONTRATO: 'ic_valor_total' } planilha_original = path.join(config.diretorio_dados, 'AP', 'portal_transparencia', 'contratos.xlsx') df_original = pd.read_excel(planilha_original) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_AP df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'AP', '', data_extracao) df = df.astype({consolidacao.CONTRATADO_CNPJ: str}) return df
def __consolidar_dispensas_municipios(self, data_extracao): dicionario_dados = { consolidacao.DESPESA_DESCRICAO: '\nObjeto\n', consolidacao.VALOR_CONTRATO: '\nValor\r\n R$\n', consolidacao.CONTRATANTE_DESCRICAO: '\nEnte\n', consolidacao.CONTRATADO_DESCRICAO: '\nFornecedor\n' } df_original = pd.read_excel(path.join(config.diretorio_dados, 'AC', 'tce', 'dispensas_municipios.xls'), header=4) df = consolidar_layout( df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_AC_despesas_municipios, 'AC', '', data_extracao, self.pos_processar_dispensas_municipios) return df
def __consolidar_dados_portal_transparencia(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'ÓRGÃO', consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO', consolidacao.CONTRATADO_CNPJ: 'CNPJ', consolidacao.DESPESA_DESCRICAO: 'OBJETO', consolidacao.VALOR_CONTRATO: 'VALOR TOTAL' } planilha_original = path.join(config.diretorio_dados, 'DF', 'portal_transparencia', 'PLANILHA-COVID2.csv') df_original = pd.read_csv(planilha_original, sep=';') fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_DF df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'DF', '', data_extracao) return df
def __consolidar_despesas_capital(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'orgao', consolidacao.CONTRATADO_DESCRICAO: 'nomefornecedor', consolidacao.CONTRATADO_CNPJ: 'fornecedor', consolidacao.DESPESA_DESCRICAO: 'itemclassificacaodespesa' } planilha_original = path.join(config.diretorio_dados, 'MS', 'portal_transparencia', 'Campo Grande', 'despesas.xlsx') df_original = pd.read_excel(planilha_original, header=1) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_CampoGrande df = consolidar_layout( df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, fonte_dados, 'MS', get_codigo_municipio_por_nome('Campo Grande', 'MS'), data_extracao, self.pos_processar_despesas_capital) return df
def __consolidar_licitacoes(self, data_extracao): dicionario_dados = { consolidacao.MUNICIPIO_DESCRICAO: 'ENTE', consolidacao.CONTRATANTE_DESCRICAO: 'UNIDADE', consolidacao.DESPESA_DESCRICAO: 'OBJETO', consolidacao.VALOR_CONTRATO: 'VALOR', consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO', consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ' } planilha_original = path.join(config.diretorio_dados, 'MA', 'tce', 'licitacoes.xls') df_original = pd.read_excel(planilha_original, header=1) fonte_dados = consolidacao.TIPO_FONTE_TCE + ' - ' + config.url_tce_MA df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'MA', '', data_extracao, self.pos_processar_licitacoes) return df
def consolidar_pt_Natal(self, data_extracao): # Objeto dict em que os valores tem chaves que retratam campos considerados mais importantes dicionario_dados = {consolidacao.CONTRATADO_DESCRICAO: 'Fornecedor', consolidacao.CONTRATADO_CNPJ: 'CNPJ/CPF Fornecedor', consolidacao.CONTRATANTE_DESCRICAO: 'Orgão Contratante', consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.VALOR_CONTRATO: 'Valor Total'} # Lê o arquivo "xlsx" de nome de despesas baixado como um objeto pandas DataFrame df_original = pd.read_excel( path.join(config.diretorio_dados, 'RN', 'portal_transparencia', 'Natal', 'contratos.xls'), header=4) # Chama a função "consolidar_layout" definida em módulo importado df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Natal, 'RN', get_codigo_municipio_por_nome('Natal', 'RN'), data_extracao) df[consolidacao.MUNICIPIO_DESCRICAO] = 'Natal' return df
def __consolidar_despesas(self, data_extracao): dicionario_dados = { consolidacao.CONTRATADO_CNPJ: 'cpf_cnpj_contratado', consolidacao.DESPESA_DESCRICAO: 'objeto', consolidacao.CONTRATANTE_DESCRICAO: 'orgao_contratante', consolidacao.CONTRATADO_DESCRICAO: 'nome_contratado', consolidacao.DOCUMENTO_NUMERO: 'nota_empenho', consolidacao.VALOR_CONTRATO: 'valor_total' } df_original = pd.read_excel( path.join(config.diretorio_dados, 'AL', 'portal_transparencia', 'despesas.xlsx')) df = consolidar_layout( df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_AL, 'AL', '', data_extracao) df[consolidacao.TIPO_DOCUMENTO] = 'EMPENHO' return df, False
def __consolidar_aquisicoes(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'orgao', consolidacao.DESPESA_DESCRICAO: 'objeto', consolidacao.VALOR_CONTRATO: 'valor_total_solicitacao', consolidacao.CONTRATADO_CNPJ: 'cpf_cnpj_fornecedor', consolidacao.CONTRATADO_DESCRICAO: 'fornecedor' } planilha_original = path.join(config.diretorio_dados, 'PR', 'portal_transparencia', 'TB_DISPENSAS_INEXIGIBILIDADE-2020.csv') df_original = pd.read_csv(planilha_original, sep=';') df = consolidar_layout( df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_PR, 'PR', '', data_extracao, self.pos_processar) return df
def __consolidar_portal_transparencia_capital(self, data_extracao): dicionario_dados = { consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ', consolidacao.CONTRATADO_DESCRICAO: 'Nome', consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.CONTRATANTE_DESCRICAO: 'Secretaria', consolidacao.VALOR_CONTRATO: 'Valor Total' } df_original = pd.read_excel(path.join(config.diretorio_dados, 'AC', 'portal_transparencia', 'Rio Branco', 'webexcel.xls'), header=11) df = consolidar_layout( df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_RioBranco, 'AC', get_codigo_municipio_por_nome('Rio Branco', 'AC'), data_extracao, self.pos_processar_portal_transparencia_capital) return df
def consolidar_contratacoes_capital(self, data_extracao): dicionario_dados = { consolidacao.CONTRATADO_CNPJ: 'Contratado - CNPJ / CPF', consolidacao.DESPESA_DESCRICAO: 'Descrição de bem ou serviço', consolidacao.CONTRATANTE_DESCRICAO: 'Órgão Contratante', consolidacao.VALOR_CONTRATO: 'Valor contratado' } planilha_original = path.join(config.diretorio_dados, 'AP', 'portal_transparencia', 'Macapa', 'contratacoes.xls') df_original = pd.read_excel(planilha_original, header=4) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Macapa df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, fonte_dados, 'AP', get_codigo_municipio_por_nome('Macapá', 'AP'), data_extracao, self.pos_processar_contratacoes_capital) return df
def __consolidar_contratacoes_capital(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'ORGAO_ENTIDADE', consolidacao.CONTRATADO_CNPJ: 'CNPJ_CPF_CONTRATADO', consolidacao.CONTRATADO_DESCRICAO: 'CONTRATADO', consolidacao.DESPESA_DESCRICAO: 'OBJETO', consolidacao.VALOR_CONTRATO: 'VALOR_TOTAL' } planilha_original = path.join(config.diretorio_dados, 'MG', 'portal_transparencia', 'Belo Horizonte', 'contratacaocorona.xlsx') df_original = pd.read_excel(planilha_original) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_BeloHorizonte df = consolidar_layout( df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, fonte_dados, 'MG', get_codigo_municipio_por_nome('Belo Horizonte', 'MG'), data_extracao, self.pos_processar_contratacoes_capital) return df
def __consolidar_gastos(self, data_extracao): dicionario_dados = { consolidacao.DOCUMENTO_NUMERO: 'numero_empenho', consolidacao.DOCUMENTO_DATA: 'data_empenho', consolidacao.CONTRATANTE_DESCRICAO: 'orgao', consolidacao.CONTRATADO_DESCRICAO: 'credor', consolidacao.VALOR_CONTRATO: 'valor_empenho', consolidacao.DESPESA_DESCRICAO: 'item' } planilha_original = path.join(config.diretorio_dados, 'CE', 'portal_transparencia', 'gasto_covid_dados_abertos.xlsx') df_original = pd.read_excel(planilha_original) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_CE df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'CE', '', data_extracao) df[consolidacao.TIPO_DOCUMENTO] = 'Empenho' return df
def __consolidar_contratos(self, data_extracao): dicionario_dados = { consolidacao.CONTRATANTE_DESCRICAO: 'Órgão', consolidacao.CONTRATADO_CNPJ: 'CPF/CNPJ', consolidacao.CONTRATADO_DESCRICAO: 'Contratado', consolidacao.DESPESA_DESCRICAO: 'Objeto', consolidacao.TIPO_DOCUMENTO: 'Instrumento', consolidacao.DOCUMENTO_NUMERO: 'Número', consolidacao.DOCUMENTO_DATA: 'Data', consolidacao.VALOR_CONTRATO: 'Total' } planilha_original = path.join(config.diretorio_dados, 'TO', 'portal_transparencia', 'contratos.xls') df_original = pd.read_excel(planilha_original, header=4) fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_TO df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_ESTADUAL, fonte_dados, 'TO', '', data_extracao) return df
def __consolidar_aquisicoes_capital(self, data_extracao): dicionario_dados = { consolidacao.DOCUMENTO_DATA: 'Data', consolidacao.DOCUMENTO_NUMERO: 'Documento/Empenho', consolidacao.CONTRATANTE_DESCRICAO: 'Órgão', consolidacao.VALOR_CONTRATO: 'Valor R$' } planilha_original = path.join( config.diretorio_dados, 'PR', 'portal_transparencia', 'Curitiba', 'Aquisições_para_enfrentamento_da_pandemia_do_COVID-19_-_Transparência_Curitiba.csv' ) df_original = pd.read_csv(planilha_original, sep=';') fonte_dados = consolidacao.TIPO_FONTE_PORTAL_TRANSPARENCIA + ' - ' + config.url_pt_Curitiba_aquisicoes codigo_municipio_ibge = get_codigo_municipio_por_nome('Curitiba', 'PR') df = consolidar_layout(df_original, dicionario_dados, consolidacao.ESFERA_MUNICIPAL, fonte_dados, 'PR', codigo_municipio_ibge, data_extracao, pos_processar) return df