import imp
import scraperhelper
imp.reload(scraperhelper)
scraperhelper.setOutputDescription(
'Recarga de votaciones con error para el período 2014-2018',
{
'type': 'Dictionary',
'elements': [
{'type': 'String','name': 'boletin','description': '' },
{'type': 'String','name': 'fecha','description': '' },
{'type': 'String','name': 'materia','description': '' },
{'type': 'String','name': 'articulo','description': '' },
{'type': 'String','name': 'sesion','description': '' },
{'type': 'String','name': 'tramite','resultado': '' },
{'type': 'String','name': 'tipo','description': '' },
{'type': 'String','name': 'quorum','description': '' },
{'type': 'String','name': 'resultado','description': '' },
{'type': 'List','name': 'favor','description': '' },
{'type': 'List','name': 'contra','description': '' },
{'type': 'List','name': 'abstencion','description': '' },
{'type': 'List','name': 'articulo_quinto','description': '' },
{'type': 'List','name': 'pareos','description': '' },
]
}
)
scraperhelper.setPrintTimeTo(True)
browser = scraperhelper.initBrowser()
# input file
scraperhelper.setOutputDescription(
'Detalle de todas las sesiones de la cámara de Diputados para el período 2014-2018',
{
'type':
'Dictionary',
'elements': [{
'type': 'String',
'name': 'fecha',
'description': ''
}, {
'type': 'String',
'name': 'sesion',
'description': ''
}, {
'type': 'String',
'name': 'estado',
'description': ''
}, {
'type': 'String',
'name': 'prmid',
'description': ''
}, {
'type':
'Dictionary',
'name':
'ordenes',
'description':
'',
'elements': [{
'type': 'String',
'name': 'boletin',
'description': ''
}, {
'type': 'String',
'name': 'proyecto',
'description': ''
}, {
'type': 'String',
'name': 'pley_prmid',
'description': ''
}, {
'type': 'String',
'name': 'origen',
'description': ''
}, {
'type': 'String',
'name': 'reglamentaria',
'description': ''
}, {
'type': 'String',
'name': 'informantes',
'description': ''
}, {
'type':
'Dictionary',
'name':
'informes',
'description':
'',
'elements': [{
'type': 'String',
'name': 'fecha',
'description': ''
}, {
'type': 'String',
'name': 'estapa',
'description': ''
}, {
'type': 'String',
'name': 'informe',
'description': ''
}, {
'type': 'String',
'name': 'link',
'description': ''
}]
}]
}, {
'type':
'Dictionary',
'name':
'asistencia',
'description':
'',
'elements': [{
'type': 'String',
'name': 'diputado_prmid',
'description': ''
}, {
'type': 'String',
'name': 'partido_prmid',
'description': ''
}, {
'type': 'String',
'name': 'asistencia',
'description': ''
}, {
'type': 'String',
'name': 'observacion',
'description': ''
}, {
'type': 'String',
'name': 'ingreso',
'description': ''
}]
}, {
'type':
'Dictionary',
'name':
'intervenciones',
'description':
'',
'elements': [{
'type': 'String',
'name': 'diputado_prmid',
'description': ''
}, {
'type': 'String',
'name': 'partido_prmid',
'description': ''
}, {
'type': 'String',
'name': 'etapa',
'description': ''
}, {
'type': 'String',
'name': 'detalle',
'description': ''
}, {
'type': 'String',
'name': 'documento',
'description': ''
}, {
'type': 'String',
'name': 'duracion',
'description': ''
}]
}, {
'type':
'Dictionary',
'name':
'votaciones',
'description':
'',
'elements': [{
'type': 'String',
'name': 'boletin',
'description': ''
}, {
'type': 'List',
'name': 'boletin_link',
'description': ''
}, {
'type': 'String',
'name': 'materia',
'description': ''
}, {
'type': 'String',
'name': 'artículo',
'description': ''
}, {
'type': 'String',
'name': 'tipo',
'description': ''
}, {
'type': 'String',
'name': 'tipo',
'resultado': ''
}, {
'type': 'String',
'name': 'votacion_prmid',
'description': ''
}, {
'type': 'String',
'name': 'favor',
'description': ''
}, {
'type': 'String',
'name': 'contra',
'description': ''
}, {
'type': 'String',
'name': 'abstencion',
'description': ''
}, {
'type': 'String',
'name': 'dispensados',
'description': ''
}]
}, {
'type':
'Dictionary',
'name':
'acuerdos',
'description':
'',
'elements': [{
'type': 'String',
'name': 'ingreso',
'description': ''
}, {
'type': 'String',
'name': 'numero',
'description': ''
}, {
'type': 'String',
'name': 'acuerdo_prmid',
'description': ''
}, {
'type': 'String',
'name': 'titulo',
'description': ''
}, {
'type': 'String',
'name': 'estado',
'description': ''
}]
}]
})
scraperhelper.setOutputDescription(
'Detalle de las mociones (Proyectos de Ley) creadas por los Diputados',
{
'type': 'Dictionary',
'elements': [
{'type': 'String','name': 'legislatura','description': '' },
{'type': 'String','name': 'fecha','description': '' },
{'type': 'String','name': 'estado','description': '' },
{'type': 'String','name': 'boletin','description': '' },
{'type': 'String','name': 'materia','description': '' },
{'type': 'String','name': 'iniciativa','description': '' },
{'type': 'String','name': 'origen','description': '' },
{'type': 'String','name': 'prmid','description': '' },
{'type': 'String','name': 'descripcion','description': '' },
{
'type': 'Dictionary','name': 'hitos', 'description': '',
'elements': [
{'type': 'String','name': 'fecha','description': '' },
{'type': 'String','name': 'sesios','description': '' },
{'type': 'String','name': 'etapa','description': '' },
{'type': 'String','name': 'sub_etapa','description': '' },
{'type': 'String','name': 'documento_link','description': '' }
]
},
{
'type': 'Dictionary','name': 'informes', 'description': '',
'elements': [
{'type': 'String','name': 'fecha','description': '' },
{'type': 'String','name': 'estapa','description': '' },
{'type': 'String','name': 'informe','description': '' },
{'type': 'String','name': 'documento_link','description': '' }
]
},
{
'type': 'Dictionary','name': 'oficios', 'description': '',
'elements': [
{'type': 'String','name': 'fecha','description': '' },
{'type': 'String','name': 'numero','description': '' },
{'type': 'String','name': 'etapa','description': '' },
{'type': 'String','name': 'oficio','description': '' },
{'type': 'String','name': 'documento_link','description': '' }
]
},
{
'type': 'Dictionary','name': 'autores', 'description': '',
'elements': [
{'type': 'String','name': 'nombre_diputado','description': '' },
{'type': 'List','name': 'region','description': '' },
{'type': 'String','name': 'distrito','description': '' },
{'type': 'String','name': 'partido','description': '' },
{'type': 'String','name': 'tipo','description': '' }
]
}
]
}
)
# -*- coding: utf-8 -*-
from selenium.common.exceptions import TimeoutException
from selenium.common.exceptions import WebDriverException
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import StaleElementReferenceException
import imp
import scraperhelper
imp.reload(scraperhelper)
scraperhelper.setOutputDescription(
'Lista de todas las sesiones de la cámara de Diputados para el período 2014-2018',
{
'type': 'Dictionary',
'elements': [
{'type': 'String', 'name': 'fecha', 'description': ''},
{'type': 'String', 'name': 'sesion', 'description': ''},
{'type': 'String', 'name': 'estado', 'description': ''},
{'type': 'String', 'name': 'prmid', 'description': ''}
]
}
)
scraperhelper.setPrintTimeTo(True)
browser = scraperhelper.initBrowser()
# output lists
data = []
errors = []
# main script GO!
try:
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import StaleElementReferenceException
import imp
import scraperhelper
imp.reload(scraperhelper)
scraperhelper.setOutputDescription(
'Lista de todos los Diputados para el período 2014-2018', {
'type':
'Dictionary',
'elements': [{
'type': 'String',
'name': 'prmid',
'description': ''
}, {
'type': 'String',
'name': 'nombre',
'description': ''
}, {
'type': 'String',
'name': 'periodo',
'description': ''
}]
})
scraperhelper.setPrintTimeTo(True)
browser = scraperhelper.initBrowser()
# output lists
data = []
errors = []
scraperhelper.setOutputDescription(
'Lista de todos los proyectos de resolución de la cámara de Diputados para el período 2014-2018',
{
'type':
'Dictionary',
'elements': [{
'type': 'String',
'name': 'ingreso',
'description': ''
}, {
'type': 'String',
'name': 'numero',
'description': ''
}, {
'type': 'String',
'name': 'titulo',
'description': ''
}, {
'type': 'String',
'name': 'estado',
'description': ''
}, {
'type': 'String',
'name': 'documento_link',
'description': ''
}, {
'type': 'String',
'name': 'prmid',
'description': ''
}]
})
scraperhelper.setOutputDescription(
'Detalle de todas las resoluciones para el período 2014-2018', {
'type':
'Dictionary',
'elements': [{
'type': 'String',
'name': 'periodo',
'description': ''
}, {
'type': 'String',
'name': 'ingreso',
'description': ''
}, {
'type': 'String',
'name': 'numero',
'description': ''
}, {
'type': 'String',
'name': 'res_prmid',
'description': ''
}, {
'type': 'String',
'name': 'titulo',
'description': ''
}, {
'type': 'String',
'name': 'estado',
'description': ''
}, {
'type':
'Dictionary',
'name':
'autores',
'description':
'',
'elements': [{
'type': 'String',
'name': 'nombre_diputado',
'description': ''
}, {
'type': 'String',
'name': 'prmid_diputado',
'description': ''
}, {
'type': 'String',
'name': 'partido',
'description': ''
}, {
'type': 'String',
'name': 'calidad',
'description': ''
}]
}]
})
scraperhelper.setOutputDescription(
'Lista de todos los Diputados para el período 2014-2018', {
'type':
'Dictionary',
'elements': [{
'type': 'String',
'name': 'prmid',
'description': ''
}, {
'type': 'String',
'name': 'nombre',
'description': ''
}, {
'type': 'String',
'name': 'periodo',
'description': ''
}, {
'type': 'String',
'name': 'nacimiento',
'description': ''
}, {
'type': 'String',
'name': 'profesion',
'description': ''
}, {
'type': 'String',
'name': 'telefono',
'description': ''
}, {
'type': 'String',
'name': 'correo',
'description': ''
}, {
'type': 'String',
'name': 'comuna',
'description': ''
}, {
'type': 'String',
'name': 'distrito',
'description': ''
}, {
'type': 'String',
'name': 'region',
'description': ''
}, {
'type': 'String',
'name': 'periodos',
'description': ''
}, {
'type': 'String',
'name': 'comite_parlamentario',
'description': ''
}]
})
scraperhelper.setOutputDescription(
'Detalle de todos los acuerdos para el período 2014-2018', {
'type':
'Dictionary',
'elements': [{
'type': 'String',
'name': 'periodo',
'description': ''
}, {
'type': 'String',
'name': 'ingreso',
'description': ''
}, {
'type': 'String',
'name': 'numero',
'description': ''
}, {
'type': 'String',
'name': 'acuerdo_prmid',
'description': ''
}, {
'type': 'String',
'name': 'titulo',
'description': ''
}, {
'type': 'String',
'name': 'estado',
'description': ''
}, {
'type':
'Dictionary',
'name':
'autores',
'description':
'',
'elements': [{
'type': 'String',
'name': 'nombre_diputado',
'description': ''
}, {
'type': 'String',
'name': 'prmid_diputado',
'description': ''
}, {
'type': 'String',
'name': 'partido',
'description': ''
}, {
'type': 'String',
'name': 'calidad',
'description': ''
}]
}, {
'type':
'Dictionary',
'name':
'resumen',
'description':
'',
'elements': [{
'type': 'String',
'name': 'despacho',
'description': ''
}, {
'type': 'String',
'name': 'numero',
'description': ''
}, {
'type': 'String',
'name': 'destinatario',
'description': ''
}, {
'type': 'String',
'name': 'entrega',
'description': ''
}, {
'type': 'String',
'name': 'documento_link',
'description': ''
}]
}]
})
