def palavras():
url_base = 'http://www.al.sp.gov.br/repositorioDados/processo_legislativo/'
arquivo_zip = 'documento_palavras.zip'
url = url_base + arquivo_zip
arquivo_xml = 'documento_palavras.xml'
fetch_zip(url, arquivo_zip)
xml_data = f'{DATA_DIR}/{arquivo_xml}'
dataset = ParseXml(xml_data).process_data()
dataset = dataset[['IdDocumento', 'IdPalavra']]
dataset = dataset.rename(columns=cols_palavras)
save(dataset, 'doc_palavras')
os.remove(xml_data)
def tramitacao_regime():
url_base = 'http://www.al.sp.gov.br/repositorioDados/processo_legislativo/'
arquivo_zip = 'documento_regime.zip'
url = url_base + arquivo_zip
arquivo_xml = 'documento_regime.xml'
fetch_zip(url, arquivo_zip)
xml_data = f'{DATA_DIR}/{arquivo_xml}'
dataset = ParseXml(xml_data).process_data()
dataset = dataset[[
'IdDocumento', 'IdRegime', 'NomeRegime', 'DataInicio', 'DataFim'
]]
dataset = dataset.rename(columns=cols_tramit_regime)
save(dataset, 'doc_tramitacao_regime')
os.remove(xml_data)
def anotacoes():
url_base = 'http://www.al.sp.gov.br/repositorioDados/legislacao/'
arquivo_zip = 'legislacao_norma_anotacoes.zip'
url = url_base + arquivo_zip
arquivo_xml = 'legislacao_norma_anotacoes.xml'
fetch_zip(url, arquivo_zip)
xml_data = f'{DATA_DIR}/{arquivo_xml}'
dataset = ParseXml(xml_data).process_data()
dataset = dataset[[
'IdNorma', 'NumNormaRel', 'DataNormaRel', 'TipoNormaRel', 'DsRel',
'DsOrigem', 'IdTipoRel', 'NumComplNormaRel'
]]
dataset = dataset.rename(columns=cols_anota)
save(dataset, 'leg_anotacoes')
os.remove(xml_data)
def docs():
url_base = 'http://www.al.sp.gov.br/repositorioDados/processo_legislativo/'
arquivo_zip = 'proposituras.zip'
url = url_base + arquivo_zip
arquivo_xml = 'proposituras.xml'
fetch_zip(url, arquivo_zip)
xml_data = f'{DATA_DIR}/{arquivo_xml}'
dataset = ParseXml(xml_data).process_data()
dataset = dataset[[
'AnoLegislativo', 'CodOriginalidade', 'Ementa', 'DtEntradaSistema',
'DtPublicacao', 'IdDocumento', 'IdNatureza', 'NroLegislativo'
]]
dataset = dataset.rename(columns=cols_docs)
save(dataset, 'doc')
os.remove(xml_data)
def andamento_atual():
url_base = 'http://www.al.sp.gov.br/repositorioDados/processo_legislativo/'
arquivo_zip = 'documento_andamento_atual.zip'
url = url_base + arquivo_zip
arquivo_xml = 'documento_andamento_atual.xml'
fetch_zip(url, arquivo_zip)
xml_data = f'{DATA_DIR}/{arquivo_xml}'
dataset = ParseXml(xml_data).process_data()
dataset = dataset[[
'IdDocumento', 'Data', 'NrOrdem', 'Descricao', 'IdTpAndamento',
'TpAndamento', 'IdEtapa', 'NmEtapa', 'IdComissao', 'SiglaComissao'
]]
dataset = dataset.rename(columns=cols_andam_atual)
dataset['ds_andamento'] = dataset['ds_andamento'].apply(remove_break_line)
save(dataset, 'doc_andamento')
os.remove(xml_data)
def legs():
url_base = 'http://www.al.sp.gov.br/repositorioDados/legislacao/'
arquivo_zip = 'legislacao_normas.zip'
url = url_base + arquivo_zip
arquivo_xml = 'legislacao_normas.xml'
fetch_zip(url, arquivo_zip)
xml_data = f'{DATA_DIR}/{arquivo_xml}'
dataset = ParseXml(xml_data).process_data()
dataset = dataset[[
'IdNorma', 'Numero', 'Ano', 'IdTipo', 'Data', 'Situacao', 'Ementa',
'Autores', 'CadDO', 'PagDO', 'DataDO', 'URLDO', 'URLFicha',
'URLIntegra', 'URLCompilado', 'Promulg', 'Ambito'
]]
dataset = dataset.rename(columns=cols_legs)
dataset['tx_ementa'] = dataset['tx_ementa'].apply(remove_break_line)
save(dataset, 'leg')
os.remove(xml_data)
def pareceres():
url_base = 'http://www.al.sp.gov.br/repositorioDados/processo_legislativo/'
arquivo_zip = 'propositura_parecer.zip'
url = url_base + arquivo_zip
arquivo_xml = 'propositura_parecer.xml'
fetch_zip(url, arquivo_zip)
xml_data = f'{DATA_DIR}/{arquivo_xml}'
dataset = ParseXml(xml_data).process_data()
dataset = dataset[[
'AnoParecer', 'Descricao', 'Data', 'AdReferendum', 'RelatorEspecial',
'VotoVencido', 'IdComissao', 'IdDocumento', 'IdParecer',
'IdTipoParecer', 'TipoParecer', 'NrParecer', 'SiglaComissao',
'TpParecer', 'URL'
]]
dataset = dataset.rename(columns=cols_pareceres)
save(dataset, 'doc_pareceres')
os.remove(xml_data)