def process_deputados(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'NomeParlamentar', 'Matricula', 'IdDeputado', 'IdSPL', 'IdUA', 'Partido', 'Sala', 'Andar', 'Telefone', 'Email', 'PlacaVeiculo', 'Aniversario', 'Situacao' ]] dataset = dataset.rename( columns={ 'NomeParlamentar': 'nm_deputado', 'Matricula': 'nr_matricula', 'IdDeputado': 'id_deputado', 'IdSPL': 'id_spl', 'IdUA': 'id_unid_admin', 'Partido': 'sg_partido', 'Sala': 'sala', 'Andar': 'andar', 'Telefone': 'telefone', 'Email': 'email', 'PlacaVeiculo': 'placa_carro', 'Aniversario': 'aniversario', 'Situacao': 'status' }) save_files(dataset, 'data', 'indice_deputados')
def process_partidos(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['Numero', 'Sigla', 'Nome']] dataset = dataset.rename(columns={ 'Numero': 'nr_partido', 'Sigla': 'sg_partido', 'Nome': 'nm_partido' }) save_files(dataset, 'data', 'indice_partidos')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['IdSubTema', 'SubTema']] dataset = dataset.rename(columns={ 'IdSubTema': 'id_subtema', 'SubTema': 'ds_subtema' }) save_files(dataset, 'legislacao_subtemas_indice')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['IdTipoParcer', 'TipoParecer']] dataset = dataset.rename(columns={ 'IdTipoParcer': 'id_tp_parecer', 'TipoParecer': 'tp_parecer' }) save_files(dataset, 'documentos_pareceres_tp_indice')
def process_proposicoes_palavras(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['IdPalavra', 'Palavra', 'PalavraSemAcento']] dataset = dataset.rename(columns={ 'IdPalavra': 'id_palavra', 'Palavra': 'termo', 'PalavraSemAcento': 'termo_sem_acento' }) save_files(dataset, 'data', 'indice_proposicoes_palavras-chave')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['IdTipo', 'DsTipo']] dataset = dataset.rename(columns={ 'IdTipo': 'id_tp_norma', 'DsTipo': 'ds_tp_norma' }) save_files(dataset, 'legislacao_tipos_indice')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['IdDeputado', 'IdArea', 'NrOrdem']] dataset = dataset.rename(columns={ 'IdDeputado': 'id_deputado', 'IdArea': 'id_area', 'NrOrdem': 'nr_ordem' }) save_files(dataset, 'deputados_area_atuacao')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['idNatureza', 'nmNatureza', 'sgNatureza', 'tpNatureza']] dataset = dataset.rename(columns={ 'idNatureza': 'id_natureza', 'nmNatureza': 'nm_natureza', 'sgNatureza': 'sg_natureza', 'tpNatureza': 'tp_natureza' }) save_files(dataset, 'documentos_naturezas_indice')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['IdDeputado', 'IdBaseEleitoral', 'NrOrdem']] dataset = dataset.rename( columns={ 'IdDeputado': 'id_deputado', 'IdBaseEleitoral': 'id_base', 'NrOrdem': 'nr_ordem' }) save_files(dataset, 'deputados_bases_eleitorais')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['IdPalavra', 'Palavra', 'PalavraSemAcento']] dataset = dataset.rename( columns={ 'IdPalavra': 'id_palavra', 'Palavra': 'tx_termo', 'PalavraSemAcento': 'tx_termo_sem_acento' }) save_files(dataset, 'documentos_palavraschave_indice')
def process_servidores_lotacoes_historico(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'NomeFuncionario', 'NomeUA', 'IdUA', 'DataInicio', 'DataFim' ]] dataset = dataset.rename(columns={ 'NomeFuncionario': 'nm_funcionario', 'NomeUA': 'nm_unid_admin', 'IdUA': 'id_unid_admin', 'DataInicio': 'dt_inicio', 'DataFim': 'dt_fim' }) save_files(dataset, 'data', 'servidores_lotacoes_historico')
def process_proposicoes_natureza(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['idNatureza', 'nmNatureza', 'sgNatureza', 'tpNatureza']] dataset = dataset.rename( columns={ 'idNatureza': 'id_natureza', 'nmNatureza': 'nm_natureza', 'sgNatureza': 'sg_natureza', 'tpNatureza': 'tp_natureza' }) save_files(dataset, 'data', 'indice_proposicoes_natureza')
def process_servidores_cargos(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'NomeFuncionario', 'NomeCargo', 'IdCargo', 'NomeRegime', 'IdRegime', 'DataInicio', 'DataFim' ]] dataset = dataset.rename(columns={ 'NomeFuncionario': 'nm_funcionario', 'NomeCargo': 'nm_cargo', 'IdCargo': 'id_cargo', 'NomeRegime': 'nm_regime', 'IdRegime': 'id_regime', 'DataInicio': 'dt_inicio', 'DataFim': 'dt_fim' }) save_files(dataset, 'data', 'servidores_cargos')
def process_deputados_gastos_cota(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'Deputado', 'Matricula', 'Ano', 'Mes', 'Tipo', 'Fornecedor', 'CNPJ', 'Valor' ]] dataset = dataset.rename(columns={ 'Deputado': 'nm_deputado', 'Matricula': 'nr_matricula', 'Ano': 'ano', 'Mes': 'mes', 'Tipo': 'tp_categoria', 'Fornecedor': 'nm_fornecedor', 'CNPJ': 'nr_cnpj', 'Valor': 'valor' }) clean_expenses_categories(dataset) save_files(dataset, 'data', 'deputados_gastos_cota')
def process_comissoes_membros(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'SiglaComissao', 'IdComissao', 'NomeMembro', 'IdMembro', 'Papel', 'IdPapel', 'Efetivo', 'DataInicio', 'DataFim' ]] dataset = dataset.rename(columns={ 'SiglaComissao': 'sg_comissao', 'IdComissao': 'id_comissao', 'NomeMembro': 'nm_membro', 'IdMembro': 'id_membro', 'Papel': 'ds_papel', 'IdPapel': 'id_papel', 'Efetivo': 'efetivo', 'DataInicio': 'dt_inicio', 'DataFim': 'dt_fim' }) save_files(dataset, 'data', 'comissoes_membros')
def process_comissoes_deliberacoes(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'IdReuniao', 'IdDocumento', 'IdPauta', 'NrOrdem', 'DataInclusao', 'DataSaida', 'Deliberacao', 'IdDeliberacao' ]] dataset = dataset.rename(columns={ 'IdReuniao': 'id_reuniao', 'IdDocumento': 'id_documento', 'IdPauta': 'id_pauta', 'NrOrdem': 'nr_ordem', 'DataInclusao': 'dt_inclusao', 'DataSaida': 'dt_saida', 'Deliberacao': 'deliberacao', 'IdDeliberacao': 'id_deliberacao' }) save_files(dataset, 'data', 'comissoes_deliberacoes')
def process_comissoes(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'IdComissao', 'NomeComissao', 'SiglaComissao', 'DescricaoComissao', 'DataFimComissao' ]] dataset = dataset.rename( columns={ 'IdComissao': 'id_comissao', 'NomeComissao': 'nm_comissao', 'SiglaComissao': 'sg_comissao', 'DescricaoComissao': 'ds_comissao', 'DataFimComissao': 'dt_fim_comissao', }) save_files(dataset, 'data', 'indice_comissoes')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'IdReuniao', 'IdPauta', 'IdDeputado', 'Deputado', 'IdComissao', 'SiglaComissao', 'DataReuniao' ]] dataset = dataset.rename(columns={ 'IdReuniao': 'id_reuniao', 'IdPauta': 'id_pauta', 'IdDeputado': 'id_deputado', 'Deputado': 'nm_deputado', 'IdComissao': 'id_comissao', 'SiglaComissao': 'sg_comissao', 'DataReuniao': 'dt_comissao' }) save_files(dataset, 'comissoes_presencas')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'NomeFuncionario', 'NomeCargo', 'IdCargo', 'NomeRegime', 'IdRegime', 'NomeUA', 'IdUA' ]] dataset = dataset.rename( columns={ 'NomeFuncionario': 'nm_funcionario', 'NomeCargo': 'nm_cargo', 'IdCargo': 'id_cargo', 'NomeRegime': 'nm_regime', 'IdRegime': 'id_regime', 'NomeUA': 'nm_unid_admin', 'IdUA': 'id_unid_admin' }) save_files(dataset, 'servidores_lotacao_atual')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'IdReuniao', 'IdPauta', 'IdComissao', 'IdDocumento', 'IdDeputado', 'Deputado', 'TipoVoto', 'Voto' ]] dataset = dataset.rename(columns={ 'IdReuniao': 'id_reuniao', 'IdPauta': 'id_pauta', 'IdComissao': 'id_comissao', 'IdDocumento': 'id_documento', 'IdDeputado': 'id_deputado', 'Deputado': 'nm_deputado', 'TipoVoto': 'tp_voto', 'Voto': 'ds_voto' }) save_files(dataset, 'comissoes_votacoes')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[[ 'IdReuniao', 'IdComissao', 'IdPauta', 'NrLegislatura', 'NrConvocacao', 'TipoConvocacao', 'Data', 'CodSituacao', 'Situacao', 'Presidente' ]] dataset = dataset.rename( columns={ 'IdReuniao': 'id_reuniao', 'IdComissao': 'id_comissao', 'IdPauta': 'id_pauta', 'NrLegislatura': 'nr_legislatura', 'NrConvocacao': 'nr_convocacao', 'TipoConvocacao': 'tp_convocacao', 'Data': 'dt_reuniao', 'CodSituacao': 'cd_situacao', 'Situacao': 'ds_situacao', 'Presidente': 'nm_presidente' }) save_files(dataset, 'comissoes_reunioes')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['Id', 'Nome']] dataset = dataset.rename(columns={'Id': 'id_base', 'Nome': 'nm_base'}) save_files(dataset, 'deputados_bases_eleitorais_indice')
def main(): xml_data = req.get(url).content dataset = xml_df(xml_data).process_data() dataset = dataset[['Id', 'Nome']] dataset = dataset.rename(columns={'Id': 'id_area', 'Nome': 'nm_area'}) save_files(dataset, 'deputados_areas_atuacao_indice')