def process_proposicoes_pareceres():
xml_data = 'data/propositura_parecer.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[[
'AnoParecer', 'Descricao', 'Data', 'AdReferendum', 'RelatorEspecial',
'VotoVencido', 'IdComissao', 'IdDocumento', 'IdParecer',
'IdTipoParecer', 'TipoParecer', 'NrParecer', 'SiglaComissao',
'TpParecer', 'URL'
]]
dataset = dataset.rename(
columns={
'AnoParecer': 'ano',
'Descricao': 'ds_parecer',
'Data': 'dt_parecer',
'AdReferendum': 'ad_referendum',
'RelatorEspecial': 'relator_especial',
'VotoVencido': 'voto_vencido',
'IdComissao': 'id_comissao',
'IdDocumento': 'id_documento',
'IdParecer': 'id_parecer',
'IdTipoParecer': 'id_tp_parecer',
'TipoParecer': 'tp_parecer',
'NrParecer': 'nr_parecer',
'SiglaComissao': 'sg_comissao',
'TpParecer': 'cat_parecer',
'URL': 'url'
})
save_files(dataset, 'data', 'proposicoes_pareceres')
os.remove(xml_data)
def main():
hoje = datetime.strftime(datetime.now(), '%Y-%m-%d')
DATA_DIR = f'data_{hoje}'
urlretrieve(url, f'{DATA_DIR}/legislacao_norma_anotacoes.zip')
zip_file = ZipFile(f'{DATA_DIR}/legislacao_norma_anotacoes.zip', 'r')
zip_file.extractall(f'{DATA_DIR}')
zip_file.close()
os.remove(f'{DATA_DIR}/legislacao_norma_anotacoes.zip')
xml_data = f'{DATA_DIR}/legislacao_norma_anotacoes.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[[
'IdNorma', 'NumNormaRel', 'DataNormaRel', 'TipoNormaRel', 'DsRel',
'DsOrigem', 'IdTipoRel', 'NumComplNormaRel'
]]
dataset = dataset.rename(columns={
'IdNorma': 'id_norma',
'NumNormaRel': 'nr_norma_relacionada',
'DataNormaRel': 'dt_norma_relacionada',
'TipoNormaRel': 'tp_norma_relacionada',
'DsRel': 'ds_anotacao',
'DsOrigem': 'ds_origem',
'IdTipoRel': 'id_tp_relacionada',
'NumComplNormaRel': 'nr_complemento_norma_relacionada'
})
dataset['ds_anotacao'] = dataset['ds_anotacao'].apply(remove_break_line)
save_files(dataset, 'legislacao_anotacoes')
os.remove(xml_data)
def main():
hoje = datetime.strftime(datetime.now(), '%Y-%m-%d')
DATA_DIR = f'data_{hoje}'
urlretrieve(url, f'{DATA_DIR}/documento_andamento_atual.zip')
zip_file = ZipFile(f'{DATA_DIR}/documento_andamento_atual.zip', 'r')
zip_file.extractall(f'{DATA_DIR}')
zip_file.close()
os.remove(f'{DATA_DIR}/documento_andamento_atual.zip')
xml_data = f'{DATA_DIR}/documento_andamento_atual.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[[
'IdDocumento', 'Data', 'NrOrdem', 'Descricao', 'IdTpAndamento',
'TpAndamento', 'IdEtapa', 'NmEtapa', 'IdComissao', 'SiglaComissao'
]]
dataset = dataset.rename(
columns={
'IdDocumento': 'id_documento',
'Data': 'dt_tramitacao',
'NrOrdem': 'nr_ordem',
'Descricao': 'ds_andamento',
'IdTpAndamento': 'id_tp_andamento',
'TpAndamento': 'tp_andamento',
'IdEtapa': 'id_etapa',
'NmEtapa': 'nm_etapa',
'IdComissao': 'id_comissao',
'SiglaComissao': 'sg_comissao'
})
dataset['ds_andamento'] = dataset['ds_andamento'].apply(remove_break_line)
save_files(dataset, 'documentos_tramitacao')
os.remove(xml_data)
def main():
hoje = datetime.strftime(datetime.now(), '%Y-%m-%d')
DATA_DIR = f'data_{hoje}'
urlretrieve(url, f'{DATA_DIR}/proposituras.zip')
zip_file = ZipFile(f'{DATA_DIR}/proposituras.zip', 'r')
zip_file.extractall(f'{DATA_DIR}')
zip_file.close()
os.remove(f'{DATA_DIR}/proposituras.zip')
xml_data = f'{DATA_DIR}/proposituras.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[[
'AnoLegislativo', 'CodOriginalidade', 'Ementa', 'DtEntradaSistema',
'DtPublicacao', 'IdDocumento', 'IdNatureza', 'NroLegislativo'
]]
dataset = dataset.rename(columns={
'IdDocumento': 'id_documento',
'CodOriginalidade': 'cd_originalidade',
'AnoLegislativo': 'tx_ano_legislativo',
'DtEntradaSistema': 'dt_apresentacao',
'DtPublicacao': 'dt_publicacao',
'IdNatureza': 'id_natureza',
'NroLegislativo': 'nr_legislativo',
'Ementa': 'tx_ementa'
})
save_files(dataset, 'documentos')
os.remove(xml_data)
def process_proposicoes_palavras():
xml_data = 'data/documento_palavras.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[['IdDocumento', 'IdPalavra']]
dataset = dataset.rename(columns={
'IdDocumento': 'id_proposicao', 'IdPalavra': 'id_palavra'
})
save_files(dataset, 'data', 'proposicoes_palavras')
os.remove(xml_data)
def process_proposicoes_autores():
xml_data = 'data/documento_autor.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[['IdAutor', 'IdDocumento', 'NomeAutor']]
dataset = dataset.rename(
columns={
'IdDocumento': 'id_proposicao',
'IdAutor': 'id_autor',
'NomeAutor': 'nm_autor'
})
save_files(dataset, 'data', 'indice_proposicoes_autores')
os.remove(xml_data)
def process_proposicoes():
xml_data = 'data/proposituras.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[[
'AnoLegislativo', 'CodOriginalidade', 'Ementa', 'DtEntradaSistema',
'DtPublicacao', 'IdDocumento', 'IdNatureza', 'NroLegislativo'
]]
dataset = dataset.rename(columns={
'IdDocumento': 'id_proposicao', 'CodOriginalidade': 'cd_originalidade',
'AnoLegislativo': 'ano_legislativo',
'DtEntradaSistema': 'dt_apresentacao', 'DtPublicacao': 'dt_publicacao',
'IdNatureza': 'natureza', 'NroLegislativo': 'nr_legislativo',
'Ementa': 'ementa'
})
save_files(dataset, 'data', 'proposicoes')
os.remove(xml_data)
def main():
hoje = datetime.strftime(datetime.now(), '%Y-%m-%d')
DATA_DIR = f'data_{hoje}'
urlretrieve(url, f'{DATA_DIR}/documento_palavras.zip')
zip_file = ZipFile(f'{DATA_DIR}/documento_palavras.zip', 'r')
zip_file.extractall(f'{DATA_DIR}')
zip_file.close()
os.remove(f'{DATA_DIR}/documento_palavras.zip')
xml_data = f'{DATA_DIR}/documento_palavras.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[['IdDocumento', 'IdPalavra']]
dataset = dataset.rename(columns={
'IdDocumento': 'id_documento',
'IdPalavra': 'id_palavra'
})
save_files(dataset, 'documentos_palavras')
os.remove(xml_data)
def main():
hoje = datetime.strftime(datetime.now(), '%Y-%m-%d')
DATA_DIR = f'data_{hoje}'
urlretrieve(url, f'{DATA_DIR}/legislacao_normas.zip')
zip_file = ZipFile(f'{DATA_DIR}/legislacao_normas.zip', 'r')
zip_file.extractall(f'{DATA_DIR}')
zip_file.close()
os.remove(f'{DATA_DIR}/legislacao_normas.zip')
xml_data = f'{DATA_DIR}/legislacao_normas.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[[
'IdNorma', 'Numero', 'Ano', 'IdTipo', 'Data', 'Situacao', 'Ementa',
'Autores', 'CadDO', 'PagDO', 'DataDO', 'URLDO', 'URLFicha',
'URLIntegra', 'URLCompilado', 'Promulg', 'Ambito'
]]
dataset = dataset.rename(
columns={
'IdNorma': 'id_norma',
'Numero': 'nr_norma',
'Ano': 'tx_ano',
'IdTipo': 'id_tp_norma',
'Data': 'dt_norma',
'Situacao': 'tx_situacao',
'Ementa': 'tx_ementa',
'Autores': 'tx_autores',
'CadDO': 'nr_caderno_do',
'PagDO': 'nr_pagina_do',
'DataDO': 'dt_publicacao_do',
'URLDO': 'url_do',
'URLFicha': 'url_ficha',
'URLIntegra': 'url_integra',
'URLCompilado': 'url_compilado',
'Promulg': 'tx_promulg',
'Ambito': 'tx_ambito'
})
dataset['tx_ementa'] = dataset['tx_ementa'].apply(remove_break_line)
save_files(dataset, 'legislacao_normas')
os.remove(xml_data)
def main():
hoje = datetime.strftime(datetime.now(), '%Y-%m-%d')
DATA_DIR = f'data_{hoje}'
urlretrieve(url, f'{DATA_DIR}/propositura_parecer.zip')
zip_file = ZipFile(f'{DATA_DIR}/propositura_parecer.zip', 'r')
zip_file.extractall(f'{DATA_DIR}')
zip_file.close()
os.remove(f'{DATA_DIR}/propositura_parecer.zip')
xml_data = f'{DATA_DIR}/propositura_parecer.xml'
dataset = xml_df_internal(xml_data).process_data()
dataset = dataset[[
'AnoParecer', 'Descricao', 'Data', 'AdReferendum', 'RelatorEspecial',
'VotoVencido', 'IdComissao', 'IdDocumento', 'IdParecer',
'IdTipoParecer', 'TipoParecer', 'NrParecer', 'SiglaComissao',
'TpParecer', 'URL'
]]
dataset = dataset.rename(
columns={
'AnoParecer': 'tx_ano_parecer',
'Data': 'dt_parecer',
'IdComissao': 'id_comissao',
'SiglaComissao': 'sg_comissao',
'IdDocumento': 'id_documento',
'IdParecer': 'id_parecer',
'IdTipoParecer': 'id_tp_parecer',
'TipoParecer': 'tp_parecer',
'NrParecer': 'nr_parecer',
'TpParecer': 'cat_parecer',
'Descricao': 'ds_parecer',
'AdReferendum': 'tx_adreferendum',
'RelatorEspecial': 'tx_relator_especial',
'VotoVencido': 'tx_voto_vencido',
'URL': 'tx_url'
})
save_files(dataset, 'documentos_pareceres')
os.remove(xml_data)