def define(bot): bot.define('archyvas', botlib.dburi('media/delfi/archyvas', create=True), compress=True) bot.define('archyvo-nuorodos') bot.define('archyvo-straipsnių-nuorodos') bot.define('straipsniai', botlib.dburi('media/delfi/straipsniai', create=True), compress=True) bot.define('straipsnių-tekstai', compress=True)
def define(bot): bot.define('klausimų-puslapiai', botlib.dburi('lrs/balsavimai')) bot.define('dokumentų-sąrašas') bot.define('dokumentų-puslapiai') bot.define('susijusių-dokumentų-sąrašas') bot.define('susijusių-dokumentų-puslapiai') bot.define('metadata') bot.define('texts')
def define(bot): bot.define('archyvas', botlib.dburi('media/delfi/archyvas', create=True)) bot.define('archyvo-nuorodos') bot.define('archyvo-straipsnių-nuorodos') bot.define('straipsniai', botlib.dburi('media/delfi/straipsniai', create=True)) bot.define('straipsnių-tekstai')
#!/usr/bin/env python3 import yaml import botlib from databot import define, task, this, select with open('settings.yml') as f: settings = yaml.load(f) cookies = settings['cookies']['www.lrs.lt'] pipeline = { 'pipes': [ define('klausimų-puslapiai', botlib.dburi('lrs/posedziai')), define('balsavimų-sąrašas'), define('balsavimų-puslapiai', compress=True), define('balsavimų-duomenys'), define('registracijos-sąrašas'), define('registracijos-puslapiai', compress=True), ], 'tasks': [ # Darbotvarkės klausimas (balsavimai) task('klausimų-puslapiai', 'balsavimų-sąrašas').select( [ '.sale_svarst_eiga tr td[2] xpath:a[text()="balsavimas"]', '@href' ], check= 'xpath://h1[contains(text(), "Darbotvarkės klausimas")]/text()', ).dedup(),
def define(bot): bot.define('posėdžių-puslapiai', botlib.dburi('lrs/balsavimai')) bot.define('stenogramų-sąrašas') bot.define('stenogramų-puslapiai') bot.define('metadata')