def process_deputados():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'NomeParlamentar', 'Matricula', 'IdDeputado', 'IdSPL', 'IdUA',
        'Partido', 'Sala', 'Andar', 'Telefone', 'Email', 'PlacaVeiculo',
        'Aniversario', 'Situacao'
    ]]
    dataset = dataset.rename(
        columns={
            'NomeParlamentar': 'nm_deputado',
            'Matricula': 'nr_matricula',
            'IdDeputado': 'id_deputado',
            'IdSPL': 'id_spl',
            'IdUA': 'id_unid_admin',
            'Partido': 'sg_partido',
            'Sala': 'sala',
            'Andar': 'andar',
            'Telefone': 'telefone',
            'Email': 'email',
            'PlacaVeiculo': 'placa_carro',
            'Aniversario': 'aniversario',
            'Situacao': 'status'
        })
    save_files(dataset, 'data', 'indice_deputados')
Exemplo n.º 2
0
def process_partidos():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['Numero', 'Sigla', 'Nome']]
    dataset = dataset.rename(columns={
        'Numero': 'nr_partido', 'Sigla': 'sg_partido', 'Nome': 'nm_partido'
    })
    save_files(dataset, 'data', 'indice_partidos')
Exemplo n.º 3
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['IdSubTema', 'SubTema']]
    dataset = dataset.rename(columns={
        'IdSubTema': 'id_subtema',
        'SubTema': 'ds_subtema'
    })
    save_files(dataset, 'legislacao_subtemas_indice')
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['IdTipoParcer', 'TipoParecer']]
    dataset = dataset.rename(columns={
        'IdTipoParcer': 'id_tp_parecer',
        'TipoParecer': 'tp_parecer'
    })
    save_files(dataset, 'documentos_pareceres_tp_indice')
Exemplo n.º 5
0
def process_proposicoes_palavras():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['IdPalavra', 'Palavra', 'PalavraSemAcento']]
    dataset = dataset.rename(columns={
        'IdPalavra': 'id_palavra', 'Palavra': 'termo',
        'PalavraSemAcento': 'termo_sem_acento'
    })
    save_files(dataset, 'data', 'indice_proposicoes_palavras-chave')
Exemplo n.º 6
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['IdTipo', 'DsTipo']]
    dataset = dataset.rename(columns={
        'IdTipo': 'id_tp_norma',
        'DsTipo': 'ds_tp_norma'
    })
    save_files(dataset, 'legislacao_tipos_indice')
Exemplo n.º 7
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['IdDeputado', 'IdArea', 'NrOrdem']]
    dataset = dataset.rename(columns={
        'IdDeputado': 'id_deputado',
        'IdArea': 'id_area',
        'NrOrdem': 'nr_ordem'
    })
    save_files(dataset, 'deputados_area_atuacao')
Exemplo n.º 8
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['idNatureza', 'nmNatureza', 'sgNatureza', 'tpNatureza']]
    dataset = dataset.rename(columns={
        'idNatureza': 'id_natureza',
        'nmNatureza': 'nm_natureza',
        'sgNatureza': 'sg_natureza',
        'tpNatureza': 'tp_natureza'
    })
    save_files(dataset, 'documentos_naturezas_indice')
Exemplo n.º 9
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['IdDeputado', 'IdBaseEleitoral', 'NrOrdem']]
    dataset = dataset.rename(
        columns={
            'IdDeputado': 'id_deputado',
            'IdBaseEleitoral': 'id_base',
            'NrOrdem': 'nr_ordem'
        })
    save_files(dataset, 'deputados_bases_eleitorais')
Exemplo n.º 10
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['IdPalavra', 'Palavra', 'PalavraSemAcento']]
    dataset = dataset.rename(
        columns={
            'IdPalavra': 'id_palavra',
            'Palavra': 'tx_termo',
            'PalavraSemAcento': 'tx_termo_sem_acento'
        })
    save_files(dataset, 'documentos_palavraschave_indice')
Exemplo n.º 11
0
def process_servidores_lotacoes_historico():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'NomeFuncionario', 'NomeUA', 'IdUA', 'DataInicio', 'DataFim'
    ]]
    dataset = dataset.rename(columns={
        'NomeFuncionario': 'nm_funcionario', 'NomeUA': 'nm_unid_admin',
        'IdUA': 'id_unid_admin', 'DataInicio': 'dt_inicio', 'DataFim': 'dt_fim'
    })
    save_files(dataset, 'data', 'servidores_lotacoes_historico')
def process_proposicoes_natureza():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['idNatureza', 'nmNatureza', 'sgNatureza', 'tpNatureza']]
    dataset = dataset.rename(
        columns={
            'idNatureza': 'id_natureza',
            'nmNatureza': 'nm_natureza',
            'sgNatureza': 'sg_natureza',
            'tpNatureza': 'tp_natureza'
        })
    save_files(dataset, 'data', 'indice_proposicoes_natureza')
Exemplo n.º 13
0
def process_servidores_cargos():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'NomeFuncionario', 'NomeCargo', 'IdCargo', 'NomeRegime',
        'IdRegime', 'DataInicio', 'DataFim'
    ]]
    dataset = dataset.rename(columns={
        'NomeFuncionario': 'nm_funcionario', 'NomeCargo': 'nm_cargo',
        'IdCargo': 'id_cargo', 'NomeRegime': 'nm_regime',
        'IdRegime': 'id_regime', 'DataInicio': 'dt_inicio',
        'DataFim': 'dt_fim'
    })
    save_files(dataset, 'data', 'servidores_cargos')
Exemplo n.º 14
0
def process_deputados_gastos_cota():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'Deputado', 'Matricula', 'Ano', 'Mes', 'Tipo', 'Fornecedor',
        'CNPJ', 'Valor'
    ]]
    dataset = dataset.rename(columns={
        'Deputado': 'nm_deputado', 'Matricula': 'nr_matricula',
        'Ano': 'ano', 'Mes': 'mes', 'Tipo': 'tp_categoria',
        'Fornecedor': 'nm_fornecedor', 'CNPJ': 'nr_cnpj', 'Valor': 'valor'
    })
    clean_expenses_categories(dataset)
    save_files(dataset, 'data', 'deputados_gastos_cota')
Exemplo n.º 15
0
def process_comissoes_membros():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'SiglaComissao', 'IdComissao', 'NomeMembro', 'IdMembro', 'Papel',
        'IdPapel', 'Efetivo', 'DataInicio', 'DataFim'
    ]]
    dataset = dataset.rename(columns={
        'SiglaComissao': 'sg_comissao', 'IdComissao': 'id_comissao',
        'NomeMembro': 'nm_membro', 'IdMembro': 'id_membro',
        'Papel': 'ds_papel', 'IdPapel': 'id_papel', 'Efetivo': 'efetivo',
        'DataInicio': 'dt_inicio', 'DataFim': 'dt_fim'
    })
    save_files(dataset, 'data', 'comissoes_membros')
def process_comissoes_deliberacoes():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'IdReuniao', 'IdDocumento', 'IdPauta', 'NrOrdem', 'DataInclusao',
        'DataSaida', 'Deliberacao', 'IdDeliberacao'
    ]]
    dataset = dataset.rename(columns={
        'IdReuniao': 'id_reuniao', 'IdDocumento': 'id_documento',
        'IdPauta': 'id_pauta', 'NrOrdem': 'nr_ordem',
        'DataInclusao': 'dt_inclusao', 'DataSaida': 'dt_saida',
        'Deliberacao': 'deliberacao', 'IdDeliberacao': 'id_deliberacao'
    })
    save_files(dataset, 'data', 'comissoes_deliberacoes')
Exemplo n.º 17
0
def process_comissoes():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'IdComissao', 'NomeComissao', 'SiglaComissao', 'DescricaoComissao',
        'DataFimComissao'
    ]]
    dataset = dataset.rename(
        columns={
            'IdComissao': 'id_comissao',
            'NomeComissao': 'nm_comissao',
            'SiglaComissao': 'sg_comissao',
            'DescricaoComissao': 'ds_comissao',
            'DataFimComissao': 'dt_fim_comissao',
        })
    save_files(dataset, 'data', 'indice_comissoes')
Exemplo n.º 18
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'IdReuniao', 'IdPauta', 'IdDeputado', 'Deputado',
        'IdComissao', 'SiglaComissao', 'DataReuniao'
    ]]
    dataset = dataset.rename(columns={
        'IdReuniao': 'id_reuniao',
        'IdPauta': 'id_pauta',
        'IdDeputado': 'id_deputado',
        'Deputado': 'nm_deputado',
        'IdComissao': 'id_comissao',
        'SiglaComissao': 'sg_comissao',
        'DataReuniao': 'dt_comissao'
    })
    save_files(dataset, 'comissoes_presencas')
Exemplo n.º 19
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'NomeFuncionario', 'NomeCargo', 'IdCargo', 'NomeRegime', 'IdRegime',
        'NomeUA', 'IdUA'
    ]]
    dataset = dataset.rename(
        columns={
            'NomeFuncionario': 'nm_funcionario',
            'NomeCargo': 'nm_cargo',
            'IdCargo': 'id_cargo',
            'NomeRegime': 'nm_regime',
            'IdRegime': 'id_regime',
            'NomeUA': 'nm_unid_admin',
            'IdUA': 'id_unid_admin'
        })
    save_files(dataset, 'servidores_lotacao_atual')
Exemplo n.º 20
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'IdReuniao', 'IdPauta', 'IdComissao', 'IdDocumento', 'IdDeputado',
        'Deputado', 'TipoVoto', 'Voto'
    ]]
    dataset = dataset.rename(columns={
        'IdReuniao': 'id_reuniao',
        'IdPauta': 'id_pauta',
        'IdComissao': 'id_comissao',
        'IdDocumento': 'id_documento',
        'IdDeputado': 'id_deputado',
        'Deputado': 'nm_deputado',
        'TipoVoto': 'tp_voto',
        'Voto': 'ds_voto'
    })
    save_files(dataset, 'comissoes_votacoes')
Exemplo n.º 21
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[[
        'IdReuniao', 'IdComissao', 'IdPauta', 'NrLegislatura', 'NrConvocacao',
        'TipoConvocacao', 'Data', 'CodSituacao', 'Situacao', 'Presidente'
    ]]
    dataset = dataset.rename(
        columns={
            'IdReuniao': 'id_reuniao',
            'IdComissao': 'id_comissao',
            'IdPauta': 'id_pauta',
            'NrLegislatura': 'nr_legislatura',
            'NrConvocacao': 'nr_convocacao',
            'TipoConvocacao': 'tp_convocacao',
            'Data': 'dt_reuniao',
            'CodSituacao': 'cd_situacao',
            'Situacao': 'ds_situacao',
            'Presidente': 'nm_presidente'
        })
    save_files(dataset, 'comissoes_reunioes')
Exemplo n.º 22
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['Id', 'Nome']]
    dataset = dataset.rename(columns={'Id': 'id_base', 'Nome': 'nm_base'})
    save_files(dataset, 'deputados_bases_eleitorais_indice')
Exemplo n.º 23
0
def main():
    xml_data = req.get(url).content
    dataset = xml_df(xml_data).process_data()
    dataset = dataset[['Id', 'Nome']]
    dataset = dataset.rename(columns={'Id': 'id_area', 'Nome': 'nm_area'})
    save_files(dataset, 'deputados_areas_atuacao_indice')