def main():
capture = Capture(schema='camara_v1')
# capture data with this
capture.capture_data(
url=
'http://www.camara.leg.br/SitCamaraWS/Deputados.asmx/ObterPartidosCD')
data_list = capture.data['partidos']['partido']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_deputados(data_list, capture.url)
capture.insert_data(data_list,
table_name='partidos',
if_exists='pass',
key='id_partido')
def main():
capture = Capture(schema='camara_v2')
# capture data with this
base_url = 'https://dadosabertos.camara.leg.br/api/v2/proposicoes/{}/tramitacoes'
urls = urls_generator(capture, base_url)
for url, id_proposicao in urls:
print(url)
capture.capture_data(url, content_type='json')
data_list = capture.data['dados']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db(data_list, url, id_proposicao)
capture.insert_data(data_list, table_name='tramitacao')
def main():
capture = Capture(schema='camara_v1', )
base_url = 'http://www.camara.leg.br/SitCamaraWS/Proposicoes.asmx/ObterVotacaoProposicao?tipo={tipo}&numero={numero}&ano={ano}'
url_and_ids, numero_captura = urls_generator(capture, base_url)
for url, id_proposicao in url_and_ids:
print('----')
print(url)
# capture data with this
try:
capture.capture_data(url)
data_proposicao = capture.data['proposicao']
data_generic = data_proposicao['Votacoes']['Votacao']
for data_votacao in force_list(data_generic):
# orientacao
try:
print()
print('orientacao')
data_list = data_votacao['orientacaoBancada']['bancada']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_votacao_orientacao(
data_list, url, data_proposicao, data_votacao,
id_proposicao, numero_captura)
capture.insert_data(
data_list, table_name='votacao_proposicao_orientacao')
except KeyError:
pass
# deputados
print()
print('deputados')
data_list = data_votacao['votos']['Deputado']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_votacao_deputado(
data_list, url, data_proposicao, data_votacao,
id_proposicao)
capture.insert_data(data_list, table_name='votacao_proposicao')
except:
continue
def main():
capture = Capture(schema='camara_v1', )
capture_number = get_capture_number(capture)
print('Numero Captura', capture_number)
capture.capture_data(
url='http://www.camara.leg.br/SitCamaraWS/Deputados.asmx/ObterDeputados'
)
data_list = capture.data['deputados']['deputado']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_deputados(data_list, capture.url,
capture_number)
capture.insert_data(data_list,
table_name='deputados',
if_exists='pass',
key='ide_cadastro')
def main():
capture = Capture(schema='camara_v1', )
# capture data with this
capture.capture_data(
url='http://www.camara.leg.br/SitCamaraWS/Deputados.asmx/ObterDeputados'
)
# get the list of dict for this table
data_list = capture.data['deputados']['deputado']
#
data_list = capture.to_default_dict(data_list)
# make it rigth
data_list = from_api_to_db_deputados(data_list, capture.url)
# insert it!
capture.insert_data(data_list, table='deputados')
def main():
capture = Capture(schema='camara_v1')
# capture data with this
base_url = 'http://www.camara.leg.br/SitCamaraWS/Proposicoes.asmx/ObterProposicaoPorID?IdProp={}'
urls = urls_generator(capture, base_url)
for url in urls:
print(url)
capture.capture_data(url)
data_list = capture.data['proposicao']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db(data_list, url)
# capture.insert_data(data_list, table_name='proposicoes')
capture.insert_data(data_list,
table_name='proposicoes',
if_exists='replace',
key='id_proposicao')
def main():
capture = Capture(schema='camara_v1')
# capture data with this
base_url = 'http://www.camara.leg.br/SitCamaraWS/Proposicoes.asmx/ListarProposicoesVotadasEmPlenario?ano={}&tipo='
url, numero_captura = urls_generator(capture, base_url)
print(url, numero_captura)
try:
capture.capture_data(url)
except TypeError:
print('Not Enough Data')
return
# get the list of dict for this table
data_list = capture.data['proposicoes']['proposicao']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db(data_list, url, numero_captura)
capture.insert_data(data_list,
table_name='proposicoes_votadas_plenario',
if_exists='pass',
key='id_proposicao')
def main():
capture = Capture(schema='camara_v1')
# capture data with this
base_url = 'http://www.camara.leg.br/SitCamaraWS/Proposicoes.asmx/ListarProposicoesTramitadasNoPeriodo?dtInicio={dtInicio}&dtFim={dtFim}'
url, numero_captura = urls_generator(capture, base_url)
print(url, numero_captura)
try:
capture.capture_data(url)
except TypeError:
print('Not Enough Data')
return
# get the list of dict for this table
data_list = capture.data['proposicoes']['proposicao']
data_list = capture.to_default_dict(data_list)
# make it rigth
data_list = from_api_to_db(data_list, url, numero_captura)
# insert it!
capture.insert_data(data_list, table_name='proposicoes_tramitadas_periodo')
def main():
capture = Capture(schema='camara_v1',)
base_url = 'http://www.camara.leg.br/SitCamaraWS/Deputados.asmx/ObterDetalhesDeputado?ideCadastro={}&numLegislatura='
for i, url in enumerate(urls_generator(capture, base_url)):
print('----')
print(url)
# capture data with this
capture.capture_data(url)
data_generic = capture.data['Deputados']['Deputado']
for data_legislatura in force_list(data_generic):
# deputados detalhes
print()
print('deputados detalhes')
data_list = data_legislatura
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_deputados_detalhes(data_list, url)
capture.insert_data(data_list, table_name='detalhes_deputado')
data_generic = capture.data['Deputados']['Deputado']
# detalhes comissoes
print()
print('detalhes comissoes')
if data_legislatura['comissoes'] is not None:
data_list = data_legislatura['comissoes']['comissao']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_deputados_detalhes_comissoes(data_list, url, data_legislatura)
capture.insert_data(data_list, table_name='detalhes_deputado_comissoes')
# cargo comissoes
print()
print('cargo comissoes')
if data_legislatura['cargosComissoes'] is not None:
data_list = data_legislatura['cargosComissoes']['cargoComissoes']
data_list = capture.to_default_dict(data_list)
data_list = data_list = from_api_to_db_deputados_detalhes_comissoes(data_list, url, data_legislatura)
capture.insert_data(data_list, table_name='detalhes_deputado_comissoes_cargos')
# periodo exercicio
print()
print('periodo exercicio')
if data_legislatura['periodosExercicio'] is not None:
data_list = data_legislatura['periodosExercicio']['periodoExercicio']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_deputados_detalhes_periodo_exercicio(data_list, url, data_legislatura)
capture.insert_data(data_list, table_name='detalhes_deputado_periodos_exercicio')
# filiacao partidaria
print()
print('filiacao partidaria')
if data_legislatura['filiacoesPartidarias'] is not None:
data_list = data_legislatura['filiacoesPartidarias']['filiacaoPartidaria']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_deputados_detalhes_filiacao_partidaria(data_list, url, data_legislatura)
capture.insert_data(data_list, table_name='detalhes_deputado_filiacoes_partidarias')
# historico lider
print()
print('historico lider')
if data_legislatura['historicoLider'] is not None:
data_list = data_legislatura['historicoLider']['itemHistoricoLider']
data_list = capture.to_default_dict(data_list)
data_list = from_api_to_db_deputados_detalhes_historico_lider(data_list, url, data_legislatura)
capture.insert_data(data_list, table_name='detalhes_deputado_hitorico_lider')
