Beispiel #1
0
def define(bot):
    bot.define('archyvas',
               botlib.dburi('media/delfi/archyvas', create=True),
               compress=True)
    bot.define('archyvo-nuorodos')
    bot.define('archyvo-straipsnių-nuorodos')
    bot.define('straipsniai',
               botlib.dburi('media/delfi/straipsniai', create=True),
               compress=True)
    bot.define('straipsnių-tekstai', compress=True)
Beispiel #2
0
def define(bot):
    bot.define('klausimų-puslapiai', botlib.dburi('lrs/balsavimai'))
    bot.define('dokumentų-sąrašas')
    bot.define('dokumentų-puslapiai')
    bot.define('susijusių-dokumentų-sąrašas')
    bot.define('susijusių-dokumentų-puslapiai')
    bot.define('metadata')
    bot.define('texts')
Beispiel #3
0
def define(bot):
    bot.define('archyvas', botlib.dburi('media/delfi/archyvas', create=True))
    bot.define('archyvo-nuorodos')
    bot.define('archyvo-straipsnių-nuorodos')
    bot.define('straipsniai', botlib.dburi('media/delfi/straipsniai', create=True))
    bot.define('straipsnių-tekstai')
Beispiel #4
0
#!/usr/bin/env python3

import yaml
import botlib

from databot import define, task, this, select

with open('settings.yml') as f:
    settings = yaml.load(f)

cookies = settings['cookies']['www.lrs.lt']

pipeline = {
    'pipes': [
        define('klausimų-puslapiai', botlib.dburi('lrs/posedziai')),
        define('balsavimų-sąrašas'),
        define('balsavimų-puslapiai', compress=True),
        define('balsavimų-duomenys'),
        define('registracijos-sąrašas'),
        define('registracijos-puslapiai', compress=True),
    ],
    'tasks': [
        # Darbotvarkės klausimas (balsavimai)
        task('klausimų-puslapiai', 'balsavimų-sąrašas').select(
            [
                '.sale_svarst_eiga tr td[2] xpath:a[text()="balsavimas"]',
                '@href'
            ],
            check=
            'xpath://h1[contains(text(), "Darbotvarkės klausimas")]/text()',
        ).dedup(),
Beispiel #5
0
def define(bot):
    bot.define('posėdžių-puslapiai', botlib.dburi('lrs/balsavimai'))
    bot.define('stenogramų-sąrašas')
    bot.define('stenogramų-puslapiai')
    bot.define('metadata')