def pipe_188eca77fd28c96c559f71f5729d91ec(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetchpage', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'pipetruncate']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_119(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_fetchpage(
            context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'url'}, 'to': {'type': 'text', 'value': '</tr>'}, 'token': {'type': 'text', 'value': '<td style="TEXT-ALIGN: center">'}, 'from': {'type': 'text', 'value': 'One Way</span>'}})
    
    sw_163 = pipe_itembuilder(
        context, forever, conf={'attrs': {'value': {'type': 'text', 'value': 'file://data/www.caltrain.com_Fares_farechart.html'}, 'key': {'type': 'text', 'value': 'url'}}})
    
    sw_111 = pipe_loop(
        context, sw_163, embed=pipe_sw_119, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:fetchpage'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'fetchpage', 'id': 'sw-119', 'conf': {'URL': {'type': 'url', 'subkey': 'url'}, 'to': {'type': 'text', 'value': '</tr>'}, 'token': {'type': 'text', 'value': '<td style="TEXT-ALIGN: center">'}, 'from': {'type': 'text', 'value': 'One Way</span>'}}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_287 = pipe_truncate(
        context, sw_111, conf={'count': {'type': 'number', 'value': '100'}})
    
    _OUTPUT = pipe_output(
        context, sw_287, conf=None)
    
    return _OUTPUT
def pipe_bd0834cfe6cdacb0bea5569505d330b8(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'gid', u'MP Guardian ID', u'text', u'1276')]

    if context and context.describe_dependencies:
        return [u'pipefetchdata', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder']

    forever = pipe_forever()

    sw_606 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': '1276'}, 'prompt': {'type': 'text', 'value': 'MP Guardian ID'}, 'name': {'type': 'text', 'value': 'gid'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_579 = pipe_urlbuilder(
        context, forever, _1_PATH=sw_606, conf={'PATH': [{'terminal': '1_PATH', 'type': 'text'}, {'type': 'text', 'value': 'json'}], 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]})
    
    sw_610 = pipe_fetchdata(
        context, forever, URL=sw_579, conf={'URL': {'terminal': 'URL', 'type': 'url'}, 'path': {'type': 'text', 'value': 'person'}})
    
    _OUTPUT = pipe_output(
        context, sw_610, conf={})
    
    return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'numberinput1', u'How many items do you want in the feed?', u'number', u'5')]

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort', u'pipetail']

    forever = pipe_forever()

    sw_123 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/news.yahoo.com_rss_topstories.xml'}})
    
    sw_135 = pipe_sort(
        context, sw_123, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'DESC'}}]})
    
    sw_131 = pipe_numberinput(
        context, forever, conf={'debug': {'type': 'number', 'value': ''}, 'default': {'type': 'number', 'value': '5'}, 'prompt': {'type': 'text', 'value': 'How many items do you want in the feed?'}, 'name': {'type': 'text', 'value': 'numberinput1'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_106 = pipe_tail(
        context, sw_135, count=sw_131, conf={'count': {'terminal': 'count', 'type': 'number'}})
    
    _OUTPUT = pipe_output(
        context, sw_106, conf={})
    
    return _OUTPUT
def pipe_zKJifuNS3BGLRQK_GsevXg(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipesimplemath', u'pipesplit', u'pipetruncate']

    forever = pipe_forever()

    sw_224 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/www.sciencedaily.com_rss_computers_math.html'}})
    
    sw_250 = pipe_split(
        context, sw_224, splits=2, conf=None)
    
    sw_243 = pipe_count(
        context, sw_250, conf=None)
    
    sw_94 = pipe_simplemath(
        context, sw_243, conf={'OTHER': {'type': 'number', 'value': '5'}, 'OP': {'type': 'text', 'value': 'modulo'}})
    
    sw_169 = pipe_simplemath(
        context, sw_243, OTHER=sw_94, conf={'OTHER': {'terminal': 'OTHER', 'type': 'number'}, 'OP': {'type': 'text', 'value': 'subtract'}})
    
    sw_232 = pipe_truncate(
        context, sw_250, count=sw_169, conf={'count': {'terminal': 'count', 'type': 'number'}})
    
    _OUTPUT = pipe_output(
        context, sw_232, conf=None)
    
    return _OUTPUT
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipeurlbuilder']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_urlbuilder(
            context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]})
    
    sw_565 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': ''}})
    
    sw_626 = pipe_loop(
        context, sw_565, embed=pipe_sw_634, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'media:content.url'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'urlbuilder', 'id': 'sw-634', 'conf': {'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_592 = pipe_rename(
        context, sw_626, conf={'RULE': [{'field': {'type': 'text', 'value': 'media:content.url'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]})
    
    sw_636 = pipe_regex(
        context, sw_592, conf={'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '<img src="$1" alt="QRcode" /><br/>${title}'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_636, conf={})
    
    return _OUTPUT
def pipe_1LNyRuNS3BGdkTKaAsqenA(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'textinput1', u'Stock Symbol:', u'text', u'yhoo'), (u'', u'textinput2', u'Search Term:', u'text', u'')]

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder']

    forever = pipe_forever()

    sw_131 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': ''}, 'prompt': {'type': 'text', 'value': 'Search Term:'}, 'name': {'type': 'text', 'value': 'textinput2'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_116 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': 'yhoo'}, 'default': {'type': 'text', 'value': 'yhoo'}, 'prompt': {'type': 'text', 'value': 'Stock Symbol:'}, 'name': {'type': 'text', 'value': 'textinput1'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_85 = pipe_urlbuilder(
        context, forever, PARAM_1_value=sw_116, conf={'PATH': {'type': 'text', 'value': 'headline'}, 'BASE': {'type': 'text', 'value': 'http://finance.yahoo.com/rss'}, 'PARAM': [{'value': {'terminal': 'PARAM_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 's'}}]})
    
    sw_108 = pipe_fetch(
        context, forever, _1_URL=sw_85, conf={'URL': {'terminal': '1_URL', 'type': 'url'}})
    
    sw_120 = pipe_filter(
        context, sw_108, RULE_1_value=sw_131, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_120, conf={})
    
    return _OUTPUT
def pipe_8NMkiTW32xGvMbDKruymrA(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort']

    forever = pipe_forever()

    sw_35 = pipe_fetch(
        context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/www.fourtitude.com_news_publish_rss.xml'}, {'type': 'url', 'value': 'file://data/feeds.gawker.com_jalopnik_full.xml'}, {'type': 'url', 'value': 'file://data/www.autoblog.com_rss.xml'}]})
    
    sw_54 = pipe_filter(
        context, sw_35, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Porsche'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Mercedes'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'BMW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Audi'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'VW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lamborghini'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Ferrari'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Pagani'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Aston'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lotus'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'TVR'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'AMG'}, 'op': {'type': 'text', 'value': 'contains'}}]})
    
    sw_105 = pipe_sort(
        context, sw_54, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_105, conf={})
    
    return _OUTPUT
def pipe_2de0e4517ed76082dcddf66f7b218057(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipeoutput']

    forever = pipe_forever()

    sw_478 = pipe_fetch(context,
                        forever,
                        conf={
                            'URL': {
                                'type':
                                'url',
                                'value':
                                'file://data/feeds.feedburner.com_ouseful.xml'
                            }
                        })

    _OUTPUT = pipe_output(context, sw_478, conf={})

    return _OUTPUT
示例#9
0
def pipe_a08134746e30a6dd3a7cb3c0cf098692(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipecreaterss', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat', u'pipexpathfetchpage']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_515(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_strconcat(
            context, forever, conf={'part': [{'type': 'text', 'value': '<img src="'}, {'type': 'text', 'subkey': 'img.src'}, {'type': 'text', 'value': '">'}]})
    
    sw_327 = pipe_xpathfetchpage(
        context, forever, conf={'URL': {'type': 'url', 'value': 'http://pinterest.com/popular/'}, 'xpath': {'type': 'text', 'value': "//a[@class='PinImage ImgLink']"}})
    
    sw_507 = pipe_loop(
        context, sw_327, embed=pipe_sw_515, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'description'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-515', 'conf': {'part': [{'type': 'text', 'value': '<img src="'}, {'type': 'text', 'subkey': 'img.src'}, {'type': 'text', 'value': '">'}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_303 = pipe_rename(
        context, sw_507, conf={'RULE': {'field': {'type': 'text', 'value': 'href'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'link'}}})
    
    sw_443 = pipe_createrss(
        context, sw_303, conf={'mediaContentHeight': {'type': 'text', 'value': ''}, 'mediaThumbURL': {'type': 'text', 'value': ''}, 'mediaContentType': {'type': 'text', 'value': ''}, 'description': {'type': 'text', 'value': ''}, 'pubdate': {'type': 'text', 'value': ''}, 'author': {'type': 'text', 'value': ''}, 'title': {'type': 'text', 'value': 'img.alt'}, 'mediaThumbHeight': {'type': 'text', 'value': ''}, 'link': {'type': 'text', 'value': ''}, 'mediaContentWidth': {'type': 'text', 'value': ''}, 'mediaContentURL': {'type': 'text', 'value': 'img.src'}, 'guid': {'type': 'text', 'value': ''}, 'mediaThumbWidth': {'type': 'text', 'value': ''}})
    
    sw_261 = pipe_output(
        context, sw_443, conf=None)
    
    return sw_261
示例#10
0
def pipe_b96287458de001ad62a637095df33ad5(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipeitembuilder', u'pipeoutput', u'pipestrconcat', u'pipeunion']

    forever = pipe_forever()

    sw_632 = pipe_itembuilder(
        context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'VAL1'}, 'key': {'type': 'text', 'value': 'ATTR1'}}, {'value': {'type': 'text', 'value': 'VAL2'}, 'key': {'type': 'text', 'value': 'attrpath.attr2'}}]})
    
    sw_605 = pipe_strconcat(
        context, forever, conf={'part': {'type': 'text', 'value': 'extVal'}})
    
    sw_551 = pipe_itembuilder(
        context, forever, attrs_3_value=sw_605, conf={'attrs': [{'value': {'type': 'text', 'value': 'val1'}, 'key': {'type': 'text', 'value': 'attr1'}}, {'value': {'type': 'text', 'value': 'val2'}, 'key': {'type': 'text', 'value': 'attrpath.attr2'}}, {'value': {'terminal': 'attrs_3_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'attrpath.attr3'}}, {'value': {'type': 'text', 'value': 'val3'}, 'key': {'type': 'text', 'value': 'longpath.attrpath.attr3'}}]})
    
    sw_613 = pipe_union(
        context, sw_551, _OTHER1=sw_632, conf={})
    
    _OUTPUT = pipe_output(
        context, sw_613, conf={})
    
    return _OUTPUT
def pipe_e519dd393f943315f7e4128d19db2eac(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'q', u'Search term:', u'text', u'enterprise mashup')]

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder']

    forever = pipe_forever()

    sw_552 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'enterprise mashup'}, 'prompt': {'type': 'text', 'value': 'Search term:'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_492 = pipe_urlbuilder(
        context, forever, PARAM_5_value=sw_552, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'http://news.google.com/news'}, 'PARAM': [{'value': {'type': 'text', 'value': '1'}, 'key': {'type': 'text', 'value': 'pz'}}, {'value': {'type': 'text', 'value': 'all'}, 'key': {'type': 'text', 'value': 'cf'}}, {'value': {'type': 'text', 'value': 'uk'}, 'key': {'type': 'text', 'value': 'ned'}}, {'value': {'type': 'text', 'value': 'en'}, 'key': {'type': 'text', 'value': 'hl'}}, {'value': {'terminal': 'PARAM_5_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': 'rss'}, 'key': {'type': 'text', 'value': 'output'}}]})
    
    sw_481 = pipe_fetch(
        context, forever, _1_URL=sw_492, conf={'URL': {'terminal': '1_URL', 'type': 'url'}})
    
    _OUTPUT = pipe_output(
        context, sw_481, conf={})
    
    return _OUTPUT
def pipe_HrX5bjkv3BGEp9eSy6ky6g(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefeedautodiscovery', u'pipefetch', u'pipeloop', u'pipeoutput', u'pipesort', u'pipetruncate']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_165(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_fetch(
            context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'link'}})
    
    sw_149 = pipe_feedautodiscovery(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/edition.cnn.html'}})
    
    sw_157 = pipe_loop(
        context, sw_149, embed=pipe_sw_165, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:fetch'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'fetch', 'id': 'sw-165', 'conf': {'URL': {'type': 'url', 'subkey': 'link'}}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_174 = pipe_sort(
        context, sw_157, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'ASC'}}]})
    
    sw_191 = pipe_truncate(
        context, sw_174, conf={'count': {'type': 'number', 'value': '25'}})
    
    _OUTPUT = pipe_output(
        context, sw_191, conf={})
    
    return _OUTPUT
def pipe_dAI_R_FS3BG6fTKsAsqenA(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetchdata', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_298(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_strconcat(
            context, _INPUT, conf={'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]})
    
    sw_286 = pipe_fetchdata(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/capnorth.oes.ca.gov_89509.xml'}, 'path': {'type': 'text', 'value': 'info'}})
    
    sw_138 = pipe_loop(
        context, sw_286, embed=pipe_sw_298, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'title'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-298', 'conf': {'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_180 = pipe_rename(
        context, sw_138, conf={'RULE': [{'field': {'type': 'text', 'value': 'expires'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'pubDate'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_180, conf={})
    
    return _OUTPUT
def pipe_402e244d09a4146cd80421c6628eb6d9(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename']

    forever = pipe_forever()

    sw_572 = pipe_fetchdata(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml'}, 'path': {'type': 'text', 'value': 'episode'}})
    
    sw_587 = pipe_rename(
        context, sw_572, conf={'RULE': [{'field': {'type': 'text', 'value': 'programme.title'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}, {'field': {'type': 'text', 'value': 'programme.pid'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}, {'field': {'type': 'text', 'value': 'programme.short_synopsis'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]})
    
    sw_598 = pipe_regex(
        context, sw_587, conf={'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': 'http://www.bbc.co.uk/programmes/$1'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_598, conf={})
    
    return _OUTPUT
def pipe_404411a8d22104920f3fc1f428f33642(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipetruncate']

    forever = pipe_forever()

    sw_502 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=15.xml'}})
    
    sw_561 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=3.xml'}})
    
    sw_569 = pipe_count(
        context, sw_561, conf={})
    
    sw_583 = pipe_truncate(
        context, sw_502, count=sw_569, conf={'count': {'terminal': 'count', 'type': 'number'}})
    
    _OUTPUT = pipe_output(
        context, sw_583, conf={})
    
    return _OUTPUT
def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'q', u'Caption search term', u'text', u'maverick'), (u'', u'url', u'Caption URL', u'url', u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml')]

    if context and context.describe_dependencies:
        return [u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipetextinput', u'pipeurlinput']

    forever = pipe_forever()

    sw_521 = pipe_urlinput(
        context, forever, conf={'debug': {'type': 'url', 'value': ''}, 'default': {'type': 'url', 'value': 'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'}, 'prompt': {'type': 'text', 'value': 'Caption URL'}, 'name': {'type': 'text', 'value': 'url'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_572 = pipe_fetchdata(
        context, forever, URL=sw_521, conf={'URL': {'terminal': 'URL', 'type': 'url'}, 'path': {'type': 'text', 'value': 'body.div.p'}})
    
    sw_621 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'maverick'}, 'prompt': {'type': 'text', 'value': 'Caption search term'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_584 = pipe_filter(
        context, sw_572, RULE_1_value=sw_621, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]})
    
    sw_595 = pipe_rename(
        context, sw_584, conf={'RULE': [{'field': {'type': 'text', 'value': 'begin'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'ctime'}}, {'field': {'type': 'text', 'value': 'content'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}]})
    
    sw_606 = pipe_regex(
        context, sw_595, conf={'RULE': [{'field': {'type': 'text', 'value': 'ctime'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '&time=$1'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_606, conf={})
    
    return _OUTPUT
def pipe_551507461cbcb19a828165daad5fe007(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'urlinput1', u'Enter a URL', u'url', u'file://data/www.bbc.co.uk_news.html')]

    if context and context.describe_dependencies:
        return [u'pipefetchsitefeed', u'pipeoutput', u'pipetruncate', u'pipeurlinput']

    forever = pipe_forever()

    sw_242 = pipe_urlinput(
        context, forever, conf={'debug': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_news.html'}, 'default': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_news.html'}, 'prompt': {'type': 'text', 'value': 'Enter a URL'}, 'name': {'type': 'text', 'value': 'urlinput1'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_234 = pipe_fetchsitefeed(
        context, forever, _1_URL=sw_242, conf={'URL': {'terminal': '1_URL', 'type': 'url'}})
    
    sw_246 = pipe_truncate(
        context, sw_234, conf={'count': {'type': 'number', 'value': '5'}})
    
    _OUTPUT = pipe_output(
        context, sw_246, conf={})
    
    return _OUTPUT
def pipe_404411a8d22104920f3fc1f428f33642(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipetruncate']

    forever = pipe_forever()

    sw_502 = pipe_fetch(
        context,
        forever,
        conf={
            'URL': {
                'type':
                'url',
                'value':
                'file://data/feeds.delicious.com_v2_rss_popular?count=15.xml'
            }
        })

    sw_561 = pipe_fetch(
        context,
        forever,
        conf={
            'URL': {
                'type':
                'url',
                'value':
                'file://data/feeds.delicious.com_v2_rss_popular?count=3.xml'
            }
        })

    sw_569 = pipe_count(context, sw_561, conf={})

    sw_583 = pipe_truncate(
        context,
        sw_502,
        count=sw_569,
        conf={'count': {
            'terminal': 'count',
            'type': 'number'
        }})

    _OUTPUT = pipe_output(context, sw_583, conf={})

    return _OUTPUT
def pipe_1166de33b0ea6936d96808717355beaa(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperssitembuilder', u'pipeunion']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_710(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_itembuilder(
            context, _INPUT, conf={'attrs': [{'value': {'type': 'text', 'subkey': 'newtitle'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESCRIPTION'}, 'key': {'type': 'text', 'value': 'description.content'}}]})
    
    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_696(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_itembuilder(
            context, _INPUT, conf={'attrs': [{'value': {'type': 'text', 'value': 'NEWTITLE'}, 'key': {'type': 'text', 'value': 'newtitle'}}, {'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'title'}}]})
    
    sw_674 = pipe_rssitembuilder(
        context, forever, conf={'mediaContentHeight': {'type': 'text', 'value': ''}, 'mediaThumbURL': {'type': 'text', 'value': 'http://example.com/a.jpg'}, 'mediaContentType': {'type': 'text', 'value': ''}, 'description': {'type': 'text', 'value': 'b'}, 'pubdate': {'type': 'text', 'value': ''}, 'author': {'type': 'text', 'value': ''}, 'title': {'type': 'text', 'value': 'a'}, 'mediaThumbHeight': {'type': 'text', 'value': ''}, 'link': {'type': 'text', 'value': 'http://example.com/test.php?this=that'}, 'mediaContentWidth': {'type': 'text', 'value': ''}, 'mediaContentURL': {'type': 'text', 'value': ''}, 'guid': {'type': 'text', 'value': ''}, 'mediaThumbWidth': {'type': 'text', 'value': ''}})
    
    sw_554 = pipe_itembuilder(
        context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'TITLE1'}, 'key': {'type': 'text', 'value': 'title'}}]})
    
    sw_569 = pipe_itembuilder(
        context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'TITLE2'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESC'}, 'key': {'type': 'text', 'value': 'description'}}, {'value': {'type': 'text', 'value': 'GONE'}, 'key': {'type': 'text', 'value': 'lostattribute'}}]})
    
    sw_637 = pipe_union(
        context, sw_554, _OTHER2=sw_569, conf={})
    
    sw_656 = pipe_loop(
        context, sw_637, embed=pipe_sw_696, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:itembuilder'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'itembuilder', 'id': 'sw-696', 'conf': {'attrs': [{'value': {'type': 'text', 'value': 'NEWTITLE'}, 'key': {'type': 'text', 'value': 'newtitle'}}, {'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'title'}}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_688 = pipe_loop(
        context, sw_656, embed=pipe_sw_710, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:itembuilder'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'itembuilder', 'id': 'sw-710', 'conf': {'attrs': [{'value': {'type': 'text', 'subkey': 'newtitle'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESCRIPTION'}, 'key': {'type': 'text', 'value': 'description.content'}}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_730 = pipe_union(
        context, sw_674, _OTHER2=sw_688, conf={})
    
    _OUTPUT = pipe_output(
        context, sw_730, conf={})
    
    return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    forever = pipe_forever()

    sw_68 = pipe_fetch(
        context,
        forever,
        conf={
            "URL": [
                {"type": "url", "value": "http://www.guru.com/rss/jobs/c/web-software-it/"},
                {
                    "type": "url",
                    "value": "https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort",
                },
            ]
        },
    )

    sw_90 = pipe_uniq(context, sw_68, conf={"field": {"type": "text", "value": "link"}})

    sw_87 = pipe_filter(
        context,
        sw_90,
        conf={
            "COMBINE": {"type": "text", "value": "or"},
            "MODE": {"type": "text", "value": "block"},
            "RULE": [
                {
                    "field": {"type": "text", "value": "title"},
                    "value": {"type": "text", "value": "php"},
                    "op": {"type": "text", "value": "contains"},
                }
            ],
        },
    )

    sw_101 = pipe_sort(
        context,
        sw_87,
        conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]},
    )

    _OUTPUT = pipe_output(context, sw_101, conf={})

    return _OUTPUT
def pipe_UuvYtuMe3hGDsmRgPm7D0g(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'name', u'Name', u'text', u'Lancaster')]

    if context and context.describe_dependencies:
        return [u'pipecsv', u'pipefilter', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat', u'pipetextinput']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_581(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_strconcat(
            context, _INPUT, conf={'part': [{'type': 'text', 'subkey': 'firstName'}, {'type': 'text', 'value': ' '}, {'type': 'text', 'subkey': 'Member'}]})
    
    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_408(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_strconcat(
            context, _INPUT, conf={'part': [{'type': 'text', 'value': 'Total allowances claimed, inc travel: '}, {'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: '}, {'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': '<br>Total Travel claimed: '}, {'type': 'text', 'subkey': 'TotalTravelClaimed'}, {'type': 'text', 'value': '<br>MP Mileage: '}, {'type': 'text', 'subkey': 'Mileage'}, {'type': 'text', 'value': '<br>MP Rail Travel: '}, {'type': 'text', 'subkey': 'MPRail'}, {'type': 'text', 'value': '<br>MP Air Travel: '}, {'type': 'text', 'subkey': 'MPAir'}, {'type': 'text', 'value': '<br>Cost of staying away from main home: '}, {'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': '<br>London Supplement: '}, {'type': 'text', 'subkey': 'LondonSupplement'}, {'type': 'text', 'value': '<br>Office Running Costs: '}, {'type': 'text', 'subkey': 'OfficeRunningCosts'}, {'type': 'text', 'value': '<br>Staffing Costs: '}, {'type': 'text', 'subkey': 'StaffingCosts'}]})
    
    sw_371 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'Lancaster'}, 'prompt': {'type': 'text', 'value': 'Name'}, 'name': {'type': 'text', 'value': 'name'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_340 = pipe_csv(
        context, forever, conf={'other_sep': {'type': 'text', 'value': ''}, 'URL': {'type': 'url', 'value': 'file://data/spreadsheets.google.com_pub?key=p1rHUqg4g420UMaN1sPvaRg&output=csv&range=a1_AB646.csv'}, 'skip': {'type': 'number', 'value': '0'}, 'col_name': [{'type': 'text', 'value': 'Member'}, {'type': 'text', 'value': 'firstName'}, {'type': 'text', 'value': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': 'TotalTravelClaimed'}, {'type': 'text', 'value': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': 'LondonSupplement'}, {'type': 'text', 'value': 'OfficeRunningCosts'}, {'type': 'text', 'value': 'StaffingCosts'}, {'type': 'text', 'value': 'CentrallyPurchasedStationery'}, {'type': 'text', 'value': 'StationeryAssocdPostageCosts'}, {'type': 'text', 'value': 'CentralITProvision'}, {'type': 'text', 'value': 'StaffCoverAndOtherCosts'}, {'type': 'text', 'value': 'CommsAllowance'}, {'type': 'text', 'value': 'Mileage'}, {'type': 'text', 'value': 'MPRail'}, {'type': 'text', 'value': 'MPAir'}, {'type': 'text', 'value': 'MPMisc'}, {'type': 'text', 'value': 'MPOtherMileage'}, {'type': 'text', 'value': 'MPOtherRail'}, {'type': 'text', 'value': 'MPOtherAir'}, {'type': 'text', 'value': 'MPOtherEuropean'}, {'type': 'text', 'value': 'SpouseTotal'}, {'type': 'text', 'value': 'SpouseNumOfJourneys'}, {'type': 'text', 'value': 'FamilyTotal'}, {'type': 'text', 'value': 'FamilyNumOfJourneys'}, {'type': 'text', 'value': 'EmployeeTotal'}, {'type': 'text', 'value': 'EmployeeNumOfJourneys'}], 'col_row_start': {'type': 'number', 'value': '1'}, 'col_mode': {'type': 'text', 'value': 'custom'}, 'separator': {'type': 'text', 'value': ','}, 'col_row_end': {'type': 'number', 'value': '1'}})
    
    sw_375 = pipe_filter(
        context, sw_340, RULE_1_value=sw_371, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'Member'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]})
    
    sw_385 = pipe_rename(
        context, sw_375, conf={'RULE': [{'field': {'type': 'text', 'value': 'Member'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}]})
    
    sw_400 = pipe_loop(
        context, sw_385, embed=pipe_sw_408, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'description'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-408', 'conf': {'part': [{'type': 'text', 'value': 'Total allowances claimed, inc travel: '}, {'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: '}, {'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': '<br>Total Travel claimed: '}, {'type': 'text', 'subkey': 'TotalTravelClaimed'}, {'type': 'text', 'value': '<br>MP Mileage: '}, {'type': 'text', 'subkey': 'Mileage'}, {'type': 'text', 'value': '<br>MP Rail Travel: '}, {'type': 'text', 'subkey': 'MPRail'}, {'type': 'text', 'value': '<br>MP Air Travel: '}, {'type': 'text', 'subkey': 'MPAir'}, {'type': 'text', 'value': '<br>Cost of staying away from main home: '}, {'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': '<br>London Supplement: '}, {'type': 'text', 'subkey': 'LondonSupplement'}, {'type': 'text', 'value': '<br>Office Running Costs: '}, {'type': 'text', 'subkey': 'OfficeRunningCosts'}, {'type': 'text', 'value': '<br>Staffing Costs: '}, {'type': 'text', 'subkey': 'StaffingCosts'}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_573 = pipe_loop(
        context, sw_400, embed=pipe_sw_581, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'title'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-581', 'conf': {'part': [{'type': 'text', 'subkey': 'firstName'}, {'type': 'text', 'value': ' '}, {'type': 'text', 'subkey': 'Member'}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    _OUTPUT = pipe_output(
        context, sw_573, conf={})
    
    return _OUTPUT
示例#22
0
def pipe_9420a757a49ddf11d8b98349abb5bcf4(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetchpage', u'pipeoutput', u'pipetruncate']

    forever = pipe_forever()

    sw_266 = pipe_fetchpage(
        context,
        forever,
        conf={
            'URL': {
                'type': 'url',
                'value': 'file://data/www.caltrain.com_Fares_farechart.html'
            },
            'to': {
                'type': 'text',
                'value': '</tr>'
            },
            'token': {
                'type': 'text',
                'value': '<td style="TEXT-ALIGN: center">'
            },
            'from': {
                'type': 'text',
                'value': 'One Way</span>'
            }
        })

    sw_287 = pipe_truncate(context,
                           sw_266,
                           conf={'count': {
                               'type': 'number',
                               'value': '100'
                           }})

    _OUTPUT = pipe_output(context, sw_287, conf=None)

    return _OUTPUT
示例#23
0
def pipe_testpipe1(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and (context.describe_input or context.describe_dependencies):
        return []

    forever = pipe_forever()

    sw_90 = pipe_fetch(
        context,
        forever,
        conf={'URL': {
            'type': 'url',
            'value': 'file://data/feed.xml'
        }})

    sw_102 = pipe_filter(context,
                         sw_90,
                         conf={
                             'COMBINE': {
                                 'type': 'text',
                                 'value': 'and'
                             },
                             'MODE': {
                                 'type': 'text',
                                 'value': 'permit'
                             },
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'description'
                                 },
                                 'value': {
                                     'type': 'text',
                                     'value': 'the'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'contains'
                                 }
                             }]
                         })

    _OUTPUT = pipe_output(context, sw_102, conf=[])

    return _OUTPUT
def pipe_125e9fe8bb5f84526d21bebfec3ad116(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'textinput1', u'Enter Text', u'text', u'Guten Tag')]

    if context and context.describe_dependencies:
        return [u'pipefetchdata', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperename', u'pipetextinput', u'pipeurlbuilder']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_72(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_urlbuilder(
            context, _INPUT, conf={'BASE': {'type': 'text', 'value': 'http://ajax.googleapis.com/ajax/services/language/detect'}, 'PARAM': [{'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': '1.0'}, 'key': {'type': 'text', 'value': 'v'}}]})
    
    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_fetchdata(
            context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'language-url'}, 'path': {'type': 'text', 'value': 'responseData.language'}})
    
    sw_479 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'Guten Tag'}, 'prompt': {'type': 'text', 'value': 'Enter Text'}, 'name': {'type': 'text', 'value': 'textinput1'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_467 = pipe_itembuilder(
        context, forever, conf={'attrs': [{'value': {'terminal': 'attrs_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'title'}}]}, attrs_1_value=sw_479)
    
    sw_61 = pipe_loop(
        context, sw_467, embed=pipe_sw_72, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'language-url'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'urlbuilder', 'id': 'sw-72', 'conf': {'BASE': {'type': 'text', 'value': 'http://ajax.googleapis.com/ajax/services/language/detect'}, 'PARAM': [{'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': '1.0'}, 'key': {'type': 'text', 'value': 'v'}}]}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_142 = pipe_loop(
        context, sw_61, embed=pipe_sw_150, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'language'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'fetchdata', 'id': 'sw-150', 'conf': {'URL': {'type': 'url', 'subkey': 'language-url'}, 'path': {'type': 'text', 'value': 'responseData.language'}}}}, 'with': {'type': 'text', 'value': ''}})
    
    sw_351 = pipe_rename(
        context, sw_142, conf={'RULE': [{'field': {'type': 'text', 'value': 'language.0.content'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_351, conf={})
    
    return _OUTPUT
示例#25
0
def pipe_testpipe1(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and (context.describe_input or context.describe_dependencies):
        return []

    forever = pipe_forever()

    sw_90 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feed.xml'}})

    sw_102 = pipe_filter(
        context, sw_90, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'the'}, 'op': {'type': 'text', 'value': 'contains'}}]})

    _OUTPUT = pipe_output(context, sw_102, conf=[])

    return _OUTPUT
示例#26
0
def pipe_975789b47f17690a21e89b10a702bcbd(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'q', u'Status update', u'text', u"Here's #: some #hashtags to play #with")]

    if context and context.describe_dependencies:
        return [u'pipefilter', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipestringtokenizer', u'pipetextinput']

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_478(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_stringtokenizer(
            context, _INPUT, conf={'to-str': {'type': 'text', 'value': ' '}})
    
    sw_417 = pipe_textinput(
        context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': "Here's #: some #hashtags to play #with"}, 'prompt': {'type': 'text', 'value': 'Status update'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}})
    
    sw_424 = pipe_itembuilder(
        context, forever, conf={'attrs': [{'value': {'terminal': 'attrs_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'title'}}]}, attrs_1_value=sw_417)
    
    sw_436 = pipe_filter(
        context, sw_424, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': '#'}, 'op': {'type': 'text', 'value': 'contains'}}]})
    
    sw_447 = pipe_regex(
        context, sw_436, conf={'RULE': [{'field': {'type': 'text', 'value': 'title'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'match': {'type': 'text', 'value': ' [^#]*'}, 'replace': {'type': 'text', 'value': ' '}}, {'field': {'type': 'text', 'value': 'title'}, 'match': {'type': 'text', 'value': '^[^#]*'}, 'replace': {'type': 'text', 'value': ''}}]})
    
    sw_470 = pipe_loop(
        context, sw_447, embed=pipe_sw_478, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:stringtokenizer'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'stringtokenizer', 'id': 'sw-478', 'conf': {'to-str': {'type': 'text', 'value': ' '}}}}, 'with': {'type': 'text', 'value': 'title'}})
    
    sw_490 = pipe_filter(
        context, sw_470, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'value': {'type': 'text', 'value': '#[\\w]'}, 'op': {'type': 'text', 'value': 'matches'}}]})
    
    sw_501 = pipe_rename(
        context, sw_490, conf={'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'title'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_501, conf={})
    
    return _OUTPUT
def pipe_2de0e4517ed76082dcddf66f7b218057(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipeoutput']

    forever = pipe_forever()

    sw_478 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.feedburner.com_ouseful.xml'}})
    
    _OUTPUT = pipe_output(
        context, sw_478, conf={})
    
    return _OUTPUT
示例#28
0
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipesort', u'pipeunion', u'pipeuniq']

    forever = pipe_forever()

    sw_135 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Topthemen.xml'}})
    
    sw_233 = pipe_fetch(
        context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Politik.xml'}})
    
    sw_154 = pipe_union(
        context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135)
    
    sw_173 = pipe_uniq(
        context, sw_154, conf={'field': {'type': 'text', 'value': 'title'}})
    
    sw_180 = pipe_filter(
        context, sw_173, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'block'}, 'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'value': {'type': 'text', 'value': '/sport/'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': 'Bildstrecke:'}, 'op': {'type': 'text', 'value': 'contains'}}]})
    
    sw_210 = pipe_rename(
        context, sw_180, conf={'RULE': [{'field': {'type': 'text', 'value': 'y:id.value'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}]})
    
    sw_195 = pipe_regex(
        context, sw_210, conf={'RULE': [{'singlelinematch': {'type': 'text', 'value': '2'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'replace': {'type': 'text', 'value': ''}, 'field': {'type': 'text', 'value': 'description'}, 'casematch': {'type': 'text', 'value': '8'}, 'match': {'type': 'text', 'value': '</div>.*$'}}, {'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '^(.*\\/.*)\\/'}, 'replace': {'type': 'text', 'value': '$1/2.220/'}}]})
    
    sw_191 = pipe_sort(
        context, sw_195, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]})
    
    _OUTPUT = pipe_output(
        context, sw_191, conf={})
    
    return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder']

    forever = pipe_forever()

    sw_550 = pipe_fetch(
        context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml'}, {'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml'}]})
    
    sw_606 = pipe_urlbuilder(
        context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml'}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]})
    
    sw_572 = pipe_fetch(
        context, forever, _1_URL=sw_606, conf={'URL': {'terminal': '1_URL', 'type': 'url'}})
    
    sw_580 = pipe_union(
        context, sw_550, _OTHER=sw_572, conf={})
    
    sw_565 = pipe_sort(
        context, sw_580, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'ASC'}}]})
    
    sw_596 = pipe_truncate(
        context, sw_565, conf={'count': {'type': 'number', 'value': '3'}})
    
    sw_625 = pipe_reverse(
        context, sw_596, conf={})
    
    _OUTPUT = pipe_output(
        context, sw_625, conf={})
    
    return _OUTPUT
示例#30
0
def pipe_QMrlL_FS3BGlpwryODY80A(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u"pipefetch", u"pipefilter", u"pipeoutput", u"piperegex", u"pipesplit", u"pipeunion"]

    forever = pipe_forever()

    sw_140 = pipe_fetch(
        context, forever, conf={"URL": {"type": "url", "value": "file://data/news.yahoo.com_rss_health.xml"}}
    )

    sw_108 = pipe_split(context, sw_140, splits=2, conf=None)

    sw_159 = pipe_filter(
        context,
        sw_108,
        conf={
            "COMBINE": {"type": "text", "value": "and"},
            "MODE": {"type": "text", "value": "permit"},
            "RULE": {
                "field": {"type": "text", "value": "description"},
                "value": {"type": "text", "value": "drug"},
                "op": {"type": "text", "value": "contains"},
            },
        },
    )

    sw_204 = pipe_regex(
        context,
        sw_159,
        conf={
            "RULE": {
                "field": {"type": "text", "value": "title"},
                "match": {"type": "text", "value": "(.+)"},
                "replace": {"type": "text", "value": "[Drugs] $1"},
            }
        },
    )

    sw_148 = pipe_filter(
        context,
        sw_108,
        conf={
            "COMBINE": {"type": "text", "value": "and"},
            "MODE": {"type": "text", "value": "permit"},
            "RULE": {
                "field": {"type": "text", "value": "description"},
                "value": {"type": "text", "value": "weight"},
                "op": {"type": "text", "value": "contains"},
            },
        },
    )

    sw_189 = pipe_regex(
        context,
        sw_148,
        conf={
            "RULE": {
                "field": {"type": "text", "value": "title"},
                "match": {"type": "text", "value": "(.+)"},
                "replace": {"type": "text", "value": "[Weight] $1"},
            }
        },
    )

    sw_170 = pipe_union(context, forever, _OTHER3=sw_204, conf=None, _OTHER=sw_189)

    _OUTPUT = pipe_output(context, sw_170, conf=None)

    return _OUTPUT
def pipe_zKJifuNS3BGLRQK_GsevXg(context=None,
                                _INPUT=None,
                                conf=None,
                                **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [
            u'pipecount', u'pipefetch', u'pipeoutput', u'pipesimplemath',
            u'pipesplit', u'pipetruncate'
        ]

    forever = pipe_forever()

    sw_224 = pipe_fetch(
        context,
        forever,
        conf={
            'URL': {
                'type': 'url',
                'value':
                'file://data/www.sciencedaily.com_rss_computers_math.html'
            }
        })

    sw_250 = pipe_split(context, sw_224, splits=2, conf=None)

    sw_243 = pipe_count(context, sw_250, conf=None)

    sw_94 = pipe_simplemath(context,
                            sw_243,
                            conf={
                                'OTHER': {
                                    'type': 'number',
                                    'value': '5'
                                },
                                'OP': {
                                    'type': 'text',
                                    'value': 'modulo'
                                }
                            })

    sw_169 = pipe_simplemath(context,
                             sw_243,
                             OTHER=sw_94,
                             conf={
                                 'OTHER': {
                                     'terminal': 'OTHER',
                                     'type': 'number'
                                 },
                                 'OP': {
                                     'type': 'text',
                                     'value': 'subtract'
                                 }
                             })

    sw_232 = pipe_truncate(
        context,
        sw_250,
        count=sw_169,
        conf={'count': {
            'terminal': 'count',
            'type': 'number'
        }})

    _OUTPUT = pipe_output(context, sw_232, conf=None)

    return _OUTPUT
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [
            u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex',
            u'piperename', u'pipeurlbuilder'
        ]

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_urlbuilder(context,
                               forever,
                               conf={
                                   'PATH': {
                                       'type': 'text',
                                       'value': ''
                                   },
                                   'BASE': {
                                       'type': 'text',
                                       'value': ''
                                   },
                                   'PARAM': [{
                                       'value': {
                                           'type': 'text',
                                           'value': 'qr'
                                       },
                                       'key': {
                                           'type': 'text',
                                           'value': 'cht'
                                       }
                                   }, {
                                       'value': {
                                           'type': 'text',
                                           'value': '200x200'
                                       },
                                       'key': {
                                           'type': 'text',
                                           'value': 'chs'
                                       }
                                   }, {
                                       'value': {
                                           'type': 'text',
                                           'subkey': 'link'
                                       },
                                       'key': {
                                           'type': 'text',
                                           'value': 'chl'
                                       }
                                   }]
                               })

    sw_565 = pipe_fetch(context,
                        forever,
                        conf={'URL': {
                            'type': 'url',
                            'value': ''
                        }})

    sw_626 = pipe_loop(context,
                       sw_565,
                       embed=pipe_sw_634,
                       conf={
                           'assign_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'assign_to': {
                               'type': 'text',
                               'value': 'media:content.url'
                           },
                           'emit_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'mode': {
                               'type': 'text',
                               'value': 'assign'
                           },
                           'embed': {
                               'type': 'module',
                               'value': {
                                   'type': 'urlbuilder',
                                   'id': 'sw-634',
                                   'conf': {
                                       'PATH': {
                                           'type': 'text',
                                           'value': ''
                                       },
                                       'BASE': {
                                           'type': 'text',
                                           'value': ''
                                       },
                                       'PARAM': [{
                                           'value': {
                                               'type': 'text',
                                               'value': 'qr'
                                           },
                                           'key': {
                                               'type': 'text',
                                               'value': 'cht'
                                           }
                                       }, {
                                           'value': {
                                               'type': 'text',
                                               'value': '200x200'
                                           },
                                           'key': {
                                               'type': 'text',
                                               'value': 'chs'
                                           }
                                       }, {
                                           'value': {
                                               'type': 'text',
                                               'subkey': 'link'
                                           },
                                           'key': {
                                               'type': 'text',
                                               'value': 'chl'
                                           }
                                       }]
                                   }
                               }
                           },
                           'with': {
                               'type': 'text',
                               'value': ''
                           }
                       })

    sw_592 = pipe_rename(context,
                         sw_626,
                         conf={
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'media:content.url'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'description'
                                 }
                             }]
                         })

    sw_636 = pipe_regex(
        context,
        sw_592,
        conf={
            'RULE': [{
                'field': {
                    'type': 'text',
                    'value': 'description'
                },
                'match': {
                    'type': 'text',
                    'value': '(.*)'
                },
                'replace': {
                    'type': 'text',
                    'value': '<img src="$1" alt="QRcode" /><br/>${title}'
                }
            }]
        })

    _OUTPUT = pipe_output(context, sw_636, conf={})

    return _OUTPUT
def pipe_125e9fe8bb5f84526d21bebfec3ad116(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'textinput1', u'Enter Text', u'text', u'defunkt')]

    if context and context.describe_dependencies:
        return [
            u'pipefetchdata', u'pipeitembuilder', u'pipeloop', u'pipeoutput',
            u'piperename', u'pipetextinput', u'pipeurlbuilder'
        ]

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_72(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_urlbuilder(context, _INPUT, conf=conf)

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_fetchdata(context, _INPUT, conf=conf)

    sw_479 = pipe_textinput(context,
                            forever,
                            conf={
                                'debug': {
                                    'type': 'text',
                                    'value': 'defunkt'
                                },
                                'default': {
                                    'type': 'text',
                                    'value': 'defunkt'
                                },
                                'prompt': {
                                    'type': 'text',
                                    'value': 'Enter Text'
                                },
                                'name': {
                                    'type': 'text',
                                    'value': 'textinput1'
                                },
                                'position': {
                                    'type': 'number',
                                    'value': ''
                                }
                            })

    sw_467 = pipe_itembuilder(context,
                              forever,
                              conf={
                                  'attrs': [{
                                      'value': {
                                          'terminal': 'attrs_1_value',
                                          'type': 'text'
                                      },
                                      'key': {
                                          'type': 'text',
                                          'value': 'title'
                                      }
                                  }]
                              },
                              attrs_1_value=sw_479)

    sw_61 = pipe_loop(context,
                      sw_467,
                      embed=pipe_sw_72,
                      conf={
                          'assign_part': {
                              'type': 'text',
                              'value': 'all'
                          },
                          'assign_to': {
                              'type': 'text',
                              'value': 'api'
                          },
                          'emit_part': {
                              'type': 'text',
                              'value': 'all'
                          },
                          'mode': {
                              'type': 'text',
                              'value': 'assign'
                          },
                          'embed': {
                              'type': 'module',
                              'value': {
                                  'type': 'urlbuilder',
                                  'id': 'sw-72',
                                  'conf': {
                                      'BASE': {
                                          'type':
                                          'text',
                                          'value':
                                          'https://api.github.com/search/users'
                                      },
                                      'PARAM': [{
                                          'value': {
                                              'type': 'text',
                                              'subkey': 'title'
                                          },
                                          'key': {
                                              'type': 'text',
                                              'value': 'q'
                                          }
                                      }]
                                  }
                              }
                          },
                          'with': {
                              'type': 'text',
                              'value': ''
                          }
                      })

    sw_142 = pipe_loop(context,
                       sw_61,
                       embed=pipe_sw_150,
                       conf={
                           'assign_part': {
                               'type': 'text',
                               'value': 'first'
                           },
                           'assign_to': {
                               'type': 'text',
                               'value': 'info'
                           },
                           'mode': {
                               'type': 'text',
                               'value': 'assign'
                           },
                           'embed': {
                               'type': 'module',
                               'value': {
                                   'type': 'fetchdata',
                                   'id': 'sw-150',
                                   'conf': {
                                       'URL': {
                                           'type': 'url',
                                           'subkey': 'api'
                                       },
                                       'path': {
                                           'type': 'text',
                                           'value': 'items'
                                       }
                                   }
                               }
                           },
                           'with': {
                               'type': 'text',
                               'value': ''
                           }
                       })

    sw_351 = pipe_rename(context,
                         sw_142,
                         conf={
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'language.0.content'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'description'
                                 }
                             }]
                         })

    _OUTPUT = pipe_output(context, sw_351, conf={})

    return sw_142
def pipe_551507461cbcb19a828165daad5fe007(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'urlinput1', u'Enter a URL', u'url',
                 u'file://data/www.bbc.co.uk_news.html')]

    if context and context.describe_dependencies:
        return [
            u'pipefetchsitefeed', u'pipeoutput', u'pipetruncate',
            u'pipeurlinput'
        ]

    forever = pipe_forever()

    sw_242 = pipe_urlinput(context,
                           forever,
                           conf={
                               'debug': {
                                   'type': 'url',
                                   'value':
                                   'file://data/www.bbc.co.uk_news.html'
                               },
                               'default': {
                                   'type': 'url',
                                   'value':
                                   'file://data/www.bbc.co.uk_news.html'
                               },
                               'prompt': {
                                   'type': 'text',
                                   'value': 'Enter a URL'
                               },
                               'name': {
                                   'type': 'text',
                                   'value': 'urlinput1'
                               },
                               'position': {
                                   'type': 'number',
                                   'value': ''
                               }
                           })

    sw_234 = pipe_fetchsitefeed(
        context,
        forever,
        _1_URL=sw_242,
        conf={'URL': {
            'terminal': '1_URL',
            'type': 'url'
        }})

    sw_246 = pipe_truncate(context,
                           sw_234,
                           conf={'count': {
                               'type': 'number',
                               'value': '5'
                           }})

    _OUTPUT = pipe_output(context, sw_246, conf={})

    return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'numberinput1',
                 u'How many items do you want in the feed?', u'number', u'5')]

    if context and context.describe_dependencies:
        return [
            u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort',
            u'pipetail'
        ]

    forever = pipe_forever()

    sw_123 = pipe_fetch(context,
                        forever,
                        conf={
                            'URL': {
                                'type':
                                'url',
                                'value':
                                'file://data/news.yahoo.com_rss_topstories.xml'
                            }
                        })

    sw_135 = pipe_sort(context,
                       sw_123,
                       conf={
                           'KEY': [{
                               'field': {
                                   'type': 'text',
                                   'value': 'title'
                               },
                               'dir': {
                                   'type': 'text',
                                   'value': 'DESC'
                               }
                           }]
                       })

    sw_131 = pipe_numberinput(context,
                              forever,
                              conf={
                                  'debug': {
                                      'type': 'number',
                                      'value': ''
                                  },
                                  'default': {
                                      'type': 'number',
                                      'value': '5'
                                  },
                                  'prompt': {
                                      'type':
                                      'text',
                                      'value':
                                      'How many items do you want in the feed?'
                                  },
                                  'name': {
                                      'type': 'text',
                                      'value': 'numberinput1'
                                  },
                                  'position': {
                                      'type': 'number',
                                      'value': ''
                                  }
                              })

    sw_106 = pipe_tail(context,
                       sw_135,
                       count=sw_131,
                       conf={'count': {
                           'terminal': 'count',
                           'type': 'number'
                       }})

    _OUTPUT = pipe_output(context, sw_106, conf={})

    return _OUTPUT
def pipe_1LNyRuNS3BGdkTKaAsqenA(context=None,
                                _INPUT=None,
                                conf=None,
                                **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'textinput1', u'Stock Symbol:', u'text', u'yhoo'),
                (u'', u'textinput2', u'Search Term:', u'text', u'')]

    if context and context.describe_dependencies:
        return [
            u'pipefetch', u'pipefilter', u'pipeoutput', u'pipetextinput',
            u'pipeurlbuilder'
        ]

    forever = pipe_forever()

    sw_131 = pipe_textinput(context,
                            forever,
                            conf={
                                'debug': {
                                    'type': 'text',
                                    'value': ''
                                },
                                'default': {
                                    'type': 'text',
                                    'value': ''
                                },
                                'prompt': {
                                    'type': 'text',
                                    'value': 'Search Term:'
                                },
                                'name': {
                                    'type': 'text',
                                    'value': 'textinput2'
                                },
                                'position': {
                                    'type': 'number',
                                    'value': ''
                                }
                            })

    sw_116 = pipe_textinput(context,
                            forever,
                            conf={
                                'debug': {
                                    'type': 'text',
                                    'value': 'yhoo'
                                },
                                'default': {
                                    'type': 'text',
                                    'value': 'yhoo'
                                },
                                'prompt': {
                                    'type': 'text',
                                    'value': 'Stock Symbol:'
                                },
                                'name': {
                                    'type': 'text',
                                    'value': 'textinput1'
                                },
                                'position': {
                                    'type': 'number',
                                    'value': ''
                                }
                            })

    sw_85 = pipe_urlbuilder(context,
                            forever,
                            PARAM_1_value=sw_116,
                            conf={
                                'PATH': {
                                    'type': 'text',
                                    'value': 'headline'
                                },
                                'BASE': {
                                    'type': 'text',
                                    'value': 'http://finance.yahoo.com/rss'
                                },
                                'PARAM': [{
                                    'value': {
                                        'terminal': 'PARAM_1_value',
                                        'type': 'text'
                                    },
                                    'key': {
                                        'type': 'text',
                                        'value': 's'
                                    }
                                }]
                            })

    sw_108 = pipe_fetch(context,
                        forever,
                        _1_URL=sw_85,
                        conf={'URL': {
                            'terminal': '1_URL',
                            'type': 'url'
                        }})

    sw_120 = pipe_filter(context,
                         sw_108,
                         RULE_1_value=sw_131,
                         conf={
                             'COMBINE': {
                                 'type': 'text',
                                 'value': 'and'
                             },
                             'MODE': {
                                 'type': 'text',
                                 'value': 'permit'
                             },
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'description'
                                 },
                                 'value': {
                                     'terminal': 'RULE_1_value',
                                     'type': 'text'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'contains'
                                 }
                             }]
                         })

    _OUTPUT = pipe_output(context, sw_120, conf={})

    return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    forever = pipe_forever()

    sw_68 = pipe_fetch(
        context,
        forever,
        conf={
            'URL': [{
                'type': 'url',
                'value': 'http://www.guru.com/rss/jobs/c/web-software-it/'
            }, {
                'type':
                'url',
                'value':
                'https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort'
            }]
        })

    sw_90 = pipe_uniq(context,
                      sw_68,
                      conf={'field': {
                          'type': 'text',
                          'value': 'link'
                      }})

    sw_87 = pipe_filter(context,
                        sw_90,
                        conf={
                            'COMBINE': {
                                'type': 'text',
                                'value': 'or'
                            },
                            'MODE': {
                                'type': 'text',
                                'value': 'block'
                            },
                            'RULE': [{
                                'field': {
                                    'type': 'text',
                                    'value': 'title'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'php'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }]
                        })

    sw_101 = pipe_sort(context,
                       sw_87,
                       conf={
                           'KEY': [{
                               'field': {
                                   'type': 'text',
                                   'value': 'pubDate'
                               },
                               'dir': {
                                   'type': 'text',
                                   'value': 'DESC'
                               }
                           }]
                       })

    _OUTPUT = pipe_output(context, sw_101, conf={})

    return _OUTPUT
def pipe_188eca77fd28c96c559f71f5729d91ec(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [
            u'pipefetchpage', u'pipeitembuilder', u'pipeloop', u'pipeoutput',
            u'pipetruncate'
        ]

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_119(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_fetchpage(context,
                              _INPUT,
                              conf={
                                  'URL': {
                                      'type': 'url',
                                      'subkey': 'url'
                                  },
                                  'to': {
                                      'type': 'text',
                                      'value': '</tr>'
                                  },
                                  'token': {
                                      'type': 'text',
                                      'value':
                                      '<td style="TEXT-ALIGN: center">'
                                  },
                                  'from': {
                                      'type': 'text',
                                      'value': 'One Way</span>'
                                  }
                              })

    sw_163 = pipe_itembuilder(
        context,
        forever,
        conf={
            'attrs': {
                'value': {
                    'type': 'text',
                    'value':
                    'file://data/www.caltrain.com_Fares_farechart.html'
                },
                'key': {
                    'type': 'text',
                    'value': 'url'
                }
            }
        })

    sw_111 = pipe_loop(context,
                       sw_163,
                       embed=pipe_sw_119,
                       conf={
                           'assign_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'assign_to': {
                               'type': 'text',
                               'value': 'loop:fetchpage'
                           },
                           'emit_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'mode': {
                               'type': 'text',
                               'value': 'EMIT'
                           },
                           'embed': {
                               'type': 'module',
                               'value': {
                                   'type': 'fetchpage',
                                   'id': 'sw-119',
                                   'conf': {
                                       'URL': {
                                           'type': 'url',
                                           'subkey': 'url'
                                       },
                                       'to': {
                                           'type': 'text',
                                           'value': '</tr>'
                                       },
                                       'token': {
                                           'type':
                                           'text',
                                           'value':
                                           '<td style="TEXT-ALIGN: center">'
                                       },
                                       'from': {
                                           'type': 'text',
                                           'value': 'One Way</span>'
                                       }
                                   }
                               }
                           },
                           'with': {
                               'type': 'text',
                               'value': ''
                           }
                       })

    sw_287 = pipe_truncate(context,
                           sw_111,
                           conf={'count': {
                               'type': 'number',
                               'value': '100'
                           }})

    _OUTPUT = pipe_output(context, sw_287, conf=None)

    return _OUTPUT
def pipe_402e244d09a4146cd80421c6628eb6d9(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename']

    forever = pipe_forever()

    sw_572 = pipe_fetchdata(
        context,
        forever,
        conf={
            'URL': {
                'type':
                'url',
                'value':
                'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml'
            },
            'path': {
                'type': 'text',
                'value': 'episode'
            }
        })

    sw_587 = pipe_rename(context,
                         sw_572,
                         conf={
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'programme.title'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'title'
                                 }
                             }, {
                                 'field': {
                                     'type': 'text',
                                     'value': 'programme.pid'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'link'
                                 }
                             }, {
                                 'field': {
                                     'type': 'text',
                                     'value': 'programme.short_synopsis'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'description'
                                 }
                             }]
                         })

    sw_598 = pipe_regex(context,
                        sw_587,
                        conf={
                            'RULE': [{
                                'field': {
                                    'type': 'text',
                                    'value': 'link'
                                },
                                'match': {
                                    'type': 'text',
                                    'value': '(.*)'
                                },
                                'replace': {
                                    'type': 'text',
                                    'value':
                                    'http://www.bbc.co.uk/programmes/$1'
                                }
                            }]
                        })

    _OUTPUT = pipe_output(context, sw_598, conf={})

    return _OUTPUT
def pipe_QMrlL_FS3BGlpwryODY80A(context=None,
                                _INPUT=None,
                                conf=None,
                                **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [
            u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex',
            u'pipesplit', u'pipeunion'
        ]

    forever = pipe_forever()

    sw_140 = pipe_fetch(context,
                        forever,
                        conf={
                            'URL': {
                                'type':
                                'url',
                                'value':
                                'file://data/news.yahoo.com_rss_health.xml'
                            }
                        })

    sw_108 = pipe_split(context, sw_140, splits=2, conf=None)

    sw_159 = pipe_filter(context,
                         sw_108,
                         conf={
                             'COMBINE': {
                                 'type': 'text',
                                 'value': 'and'
                             },
                             'MODE': {
                                 'type': 'text',
                                 'value': 'permit'
                             },
                             'RULE': {
                                 'field': {
                                     'type': 'text',
                                     'value': 'description'
                                 },
                                 'value': {
                                     'type': 'text',
                                     'value': 'drug'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'contains'
                                 }
                             }
                         })

    sw_204 = pipe_regex(context,
                        sw_159,
                        conf={
                            'RULE': {
                                'field': {
                                    'type': 'text',
                                    'value': 'title'
                                },
                                'match': {
                                    'type': 'text',
                                    'value': '(.+)'
                                },
                                'replace': {
                                    'type': 'text',
                                    'value': '[Drugs] $1'
                                }
                            }
                        })

    sw_148 = pipe_filter(context,
                         sw_108,
                         conf={
                             'COMBINE': {
                                 'type': 'text',
                                 'value': 'and'
                             },
                             'MODE': {
                                 'type': 'text',
                                 'value': 'permit'
                             },
                             'RULE': {
                                 'field': {
                                     'type': 'text',
                                     'value': 'description'
                                 },
                                 'value': {
                                     'type': 'text',
                                     'value': 'weight'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'contains'
                                 }
                             }
                         })

    sw_189 = pipe_regex(context,
                        sw_148,
                        conf={
                            'RULE': {
                                'field': {
                                    'type': 'text',
                                    'value': 'title'
                                },
                                'match': {
                                    'type': 'text',
                                    'value': '(.+)'
                                },
                                'replace': {
                                    'type': 'text',
                                    'value': '[Weight] $1'
                                }
                            }
                        })

    sw_170 = pipe_union(context,
                        forever,
                        _OTHER3=sw_204,
                        conf=None,
                        _OTHER=sw_189)

    _OUTPUT = pipe_output(context, sw_170, conf=None)

    return _OUTPUT
示例#41
0
def pipe_1166de33b0ea6936d96808717355beaa(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [
            u'pipeitembuilder', u'pipeloop', u'pipeoutput',
            u'piperssitembuilder', u'pipeunion'
        ]

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_710(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_itembuilder(context,
                                _INPUT,
                                conf={
                                    'attrs': [{
                                        'value': {
                                            'type': 'text',
                                            'subkey': 'newtitle'
                                        },
                                        'key': {
                                            'type': 'text',
                                            'value': 'title'
                                        }
                                    }, {
                                        'value': {
                                            'type': 'text',
                                            'value': 'DESCRIPTION'
                                        },
                                        'key': {
                                            'type': 'text',
                                            'value': 'description.content'
                                        }
                                    }]
                                })

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_696(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_itembuilder(context,
                                _INPUT,
                                conf={
                                    'attrs': [{
                                        'value': {
                                            'type': 'text',
                                            'value': 'NEWTITLE'
                                        },
                                        'key': {
                                            'type': 'text',
                                            'value': 'newtitle'
                                        }
                                    }, {
                                        'value': {
                                            'type': 'text',
                                            'subkey': 'title'
                                        },
                                        'key': {
                                            'type': 'text',
                                            'value': 'title'
                                        }
                                    }]
                                })

    sw_674 = pipe_rssitembuilder(
        context,
        forever,
        conf={
            'mediaContentHeight': {
                'type': 'text',
                'value': ''
            },
            'mediaThumbURL': {
                'type': 'text',
                'value': 'http://example.com/a.jpg'
            },
            'mediaContentType': {
                'type': 'text',
                'value': ''
            },
            'description': {
                'type': 'text',
                'value': 'b'
            },
            'pubdate': {
                'type': 'text',
                'value': ''
            },
            'author': {
                'type': 'text',
                'value': ''
            },
            'title': {
                'type': 'text',
                'value': 'a'
            },
            'mediaThumbHeight': {
                'type': 'text',
                'value': ''
            },
            'link': {
                'type': 'text',
                'value': 'http://example.com/test.php?this=that'
            },
            'mediaContentWidth': {
                'type': 'text',
                'value': ''
            },
            'mediaContentURL': {
                'type': 'text',
                'value': ''
            },
            'guid': {
                'type': 'text',
                'value': ''
            },
            'mediaThumbWidth': {
                'type': 'text',
                'value': ''
            }
        })

    sw_554 = pipe_itembuilder(context,
                              forever,
                              conf={
                                  'attrs': [{
                                      'value': {
                                          'type': 'text',
                                          'value': 'TITLE1'
                                      },
                                      'key': {
                                          'type': 'text',
                                          'value': 'title'
                                      }
                                  }]
                              })

    sw_569 = pipe_itembuilder(context,
                              forever,
                              conf={
                                  'attrs': [{
                                      'value': {
                                          'type': 'text',
                                          'value': 'TITLE2'
                                      },
                                      'key': {
                                          'type': 'text',
                                          'value': 'title'
                                      }
                                  }, {
                                      'value': {
                                          'type': 'text',
                                          'value': 'DESC'
                                      },
                                      'key': {
                                          'type': 'text',
                                          'value': 'description'
                                      }
                                  }, {
                                      'value': {
                                          'type': 'text',
                                          'value': 'GONE'
                                      },
                                      'key': {
                                          'type': 'text',
                                          'value': 'lostattribute'
                                      }
                                  }]
                              })

    sw_637 = pipe_union(context, sw_554, _OTHER2=sw_569, conf={})

    sw_656 = pipe_loop(context,
                       sw_637,
                       embed=pipe_sw_696,
                       conf={
                           'assign_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'assign_to': {
                               'type': 'text',
                               'value': 'loop:itembuilder'
                           },
                           'emit_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'mode': {
                               'type': 'text',
                               'value': 'EMIT'
                           },
                           'embed': {
                               'type': 'module',
                               'value': {
                                   'type': 'itembuilder',
                                   'id': 'sw-696',
                                   'conf': {
                                       'attrs': [{
                                           'value': {
                                               'type': 'text',
                                               'value': 'NEWTITLE'
                                           },
                                           'key': {
                                               'type': 'text',
                                               'value': 'newtitle'
                                           }
                                       }, {
                                           'value': {
                                               'type': 'text',
                                               'subkey': 'title'
                                           },
                                           'key': {
                                               'type': 'text',
                                               'value': 'title'
                                           }
                                       }]
                                   }
                               }
                           },
                           'with': {
                               'type': 'text',
                               'value': ''
                           }
                       })

    sw_688 = pipe_loop(context,
                       sw_656,
                       embed=pipe_sw_710,
                       conf={
                           'assign_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'assign_to': {
                               'type': 'text',
                               'value': 'loop:itembuilder'
                           },
                           'emit_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'mode': {
                               'type': 'text',
                               'value': 'assign'
                           },
                           'embed': {
                               'type': 'module',
                               'value': {
                                   'type': 'itembuilder',
                                   'id': 'sw-710',
                                   'conf': {
                                       'attrs': [{
                                           'value': {
                                               'type': 'text',
                                               'subkey': 'newtitle'
                                           },
                                           'key': {
                                               'type': 'text',
                                               'value': 'title'
                                           }
                                       }, {
                                           'value': {
                                               'type': 'text',
                                               'value': 'DESCRIPTION'
                                           },
                                           'key': {
                                               'type': 'text',
                                               'value': 'description.content'
                                           }
                                       }]
                                   }
                               }
                           },
                           'with': {
                               'type': 'text',
                               'value': ''
                           }
                       })

    sw_730 = pipe_union(context, sw_674, _OTHER2=sw_688, conf={})

    _OUTPUT = pipe_output(context, sw_730, conf={})

    return _OUTPUT
示例#42
0
def pipe_UuvYtuMe3hGDsmRgPm7D0g(context=None,
                                _INPUT=None,
                                conf=None,
                                **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'name', u'Name', u'text', u'Lancaster')]

    if context and context.describe_dependencies:
        return [
            u'pipecsv', u'pipefilter', u'pipeloop', u'pipeoutput',
            u'piperename', u'pipestrconcat', u'pipetextinput'
        ]

    forever = pipe_forever()

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_581(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_strconcat(context,
                              _INPUT,
                              conf={
                                  'part': [{
                                      'type': 'text',
                                      'subkey': 'firstName'
                                  }, {
                                      'type': 'text',
                                      'value': ' '
                                  }, {
                                      'type': 'text',
                                      'subkey': 'Member'
                                  }]
                              })

    # We need to wrap submodules (used by loops) so we can pass the
    # input at runtime (as we can to subpipelines)
    def pipe_sw_408(context=None, _INPUT=None, conf=None, **kwargs):
        # todo: insert submodule description here
        return pipe_strconcat(
            context,
            _INPUT,
            conf={
                'part': [{
                    'type': 'text',
                    'value': 'Total allowances claimed, inc travel: '
                }, {
                    'type': 'text',
                    'subkey': 'TotalAllowancesClaimedIncTravel'
                }, {
                    'type':
                    'text',
                    'value':
                    '<br>Total basic allowances claimed, ex travel: '
                }, {
                    'type': 'text',
                    'subkey': 'TotalBasicAllowancesExcTravel'
                }, {
                    'type': 'text',
                    'value': '<br>Total Travel claimed: '
                }, {
                    'type': 'text',
                    'subkey': 'TotalTravelClaimed'
                }, {
                    'type': 'text',
                    'value': '<br>MP Mileage: '
                }, {
                    'type': 'text',
                    'subkey': 'Mileage'
                }, {
                    'type': 'text',
                    'value': '<br>MP Rail Travel: '
                }, {
                    'type': 'text',
                    'subkey': 'MPRail'
                }, {
                    'type': 'text',
                    'value': '<br>MP Air Travel: '
                }, {
                    'type': 'text',
                    'subkey': 'MPAir'
                }, {
                    'type': 'text',
                    'value': '<br>Cost of staying away from main home: '
                }, {
                    'type': 'text',
                    'subkey': 'CostofStayingAwayFromMainHome'
                }, {
                    'type': 'text',
                    'value': '<br>London Supplement: '
                }, {
                    'type': 'text',
                    'subkey': 'LondonSupplement'
                }, {
                    'type': 'text',
                    'value': '<br>Office Running Costs: '
                }, {
                    'type': 'text',
                    'subkey': 'OfficeRunningCosts'
                }, {
                    'type': 'text',
                    'value': '<br>Staffing Costs: '
                }, {
                    'type': 'text',
                    'subkey': 'StaffingCosts'
                }]
            })

    sw_371 = pipe_textinput(context,
                            forever,
                            conf={
                                'debug': {
                                    'type': 'text',
                                    'value': ''
                                },
                                'default': {
                                    'type': 'text',
                                    'value': 'Lancaster'
                                },
                                'prompt': {
                                    'type': 'text',
                                    'value': 'Name'
                                },
                                'name': {
                                    'type': 'text',
                                    'value': 'name'
                                },
                                'position': {
                                    'type': 'number',
                                    'value': ''
                                }
                            })

    sw_340 = pipe_csv(
        context,
        forever,
        conf={
            'other_sep': {
                'type': 'text',
                'value': ''
            },
            'URL': {
                'type':
                'url',
                'value':
                'file://data/spreadsheets.google.com_pub?key=p1rHUqg4g420UMaN1sPvaRg&output=csv&range=a1_AB646.csv'
            },
            'skip': {
                'type': 'number',
                'value': '0'
            },
            'col_name': [{
                'type': 'text',
                'value': 'Member'
            }, {
                'type': 'text',
                'value': 'firstName'
            }, {
                'type': 'text',
                'value': 'TotalAllowancesClaimedIncTravel'
            }, {
                'type': 'text',
                'value': 'TotalBasicAllowancesExcTravel'
            }, {
                'type': 'text',
                'value': 'TotalTravelClaimed'
            }, {
                'type': 'text',
                'value': 'CostofStayingAwayFromMainHome'
            }, {
                'type': 'text',
                'value': 'LondonSupplement'
            }, {
                'type': 'text',
                'value': 'OfficeRunningCosts'
            }, {
                'type': 'text',
                'value': 'StaffingCosts'
            }, {
                'type': 'text',
                'value': 'CentrallyPurchasedStationery'
            }, {
                'type': 'text',
                'value': 'StationeryAssocdPostageCosts'
            }, {
                'type': 'text',
                'value': 'CentralITProvision'
            }, {
                'type': 'text',
                'value': 'StaffCoverAndOtherCosts'
            }, {
                'type': 'text',
                'value': 'CommsAllowance'
            }, {
                'type': 'text',
                'value': 'Mileage'
            }, {
                'type': 'text',
                'value': 'MPRail'
            }, {
                'type': 'text',
                'value': 'MPAir'
            }, {
                'type': 'text',
                'value': 'MPMisc'
            }, {
                'type': 'text',
                'value': 'MPOtherMileage'
            }, {
                'type': 'text',
                'value': 'MPOtherRail'
            }, {
                'type': 'text',
                'value': 'MPOtherAir'
            }, {
                'type': 'text',
                'value': 'MPOtherEuropean'
            }, {
                'type': 'text',
                'value': 'SpouseTotal'
            }, {
                'type': 'text',
                'value': 'SpouseNumOfJourneys'
            }, {
                'type': 'text',
                'value': 'FamilyTotal'
            }, {
                'type': 'text',
                'value': 'FamilyNumOfJourneys'
            }, {
                'type': 'text',
                'value': 'EmployeeTotal'
            }, {
                'type': 'text',
                'value': 'EmployeeNumOfJourneys'
            }],
            'col_row_start': {
                'type': 'number',
                'value': '1'
            },
            'col_mode': {
                'type': 'text',
                'value': 'custom'
            },
            'separator': {
                'type': 'text',
                'value': ','
            },
            'col_row_end': {
                'type': 'number',
                'value': '1'
            }
        })

    sw_375 = pipe_filter(context,
                         sw_340,
                         RULE_1_value=sw_371,
                         conf={
                             'COMBINE': {
                                 'type': 'text',
                                 'value': 'and'
                             },
                             'MODE': {
                                 'type': 'text',
                                 'value': 'permit'
                             },
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'Member'
                                 },
                                 'value': {
                                     'terminal': 'RULE_1_value',
                                     'type': 'text'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'contains'
                                 }
                             }]
                         })

    sw_385 = pipe_rename(context,
                         sw_375,
                         conf={
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'Member'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'title'
                                 }
                             }]
                         })

    sw_400 = pipe_loop(
        context,
        sw_385,
        embed=pipe_sw_408,
        conf={
            'assign_part': {
                'type': 'text',
                'value': 'all'
            },
            'assign_to': {
                'type': 'text',
                'value': 'description'
            },
            'emit_part': {
                'type': 'text',
                'value': 'all'
            },
            'mode': {
                'type': 'text',
                'value': 'assign'
            },
            'embed': {
                'type': 'module',
                'value': {
                    'type': 'strconcat',
                    'id': 'sw-408',
                    'conf': {
                        'part': [{
                            'type':
                            'text',
                            'value':
                            'Total allowances claimed, inc travel: '
                        }, {
                            'type': 'text',
                            'subkey': 'TotalAllowancesClaimedIncTravel'
                        }, {
                            'type':
                            'text',
                            'value':
                            '<br>Total basic allowances claimed, ex travel: '
                        }, {
                            'type': 'text',
                            'subkey': 'TotalBasicAllowancesExcTravel'
                        }, {
                            'type': 'text',
                            'value': '<br>Total Travel claimed: '
                        }, {
                            'type': 'text',
                            'subkey': 'TotalTravelClaimed'
                        }, {
                            'type': 'text',
                            'value': '<br>MP Mileage: '
                        }, {
                            'type': 'text',
                            'subkey': 'Mileage'
                        }, {
                            'type': 'text',
                            'value': '<br>MP Rail Travel: '
                        }, {
                            'type': 'text',
                            'subkey': 'MPRail'
                        }, {
                            'type': 'text',
                            'value': '<br>MP Air Travel: '
                        }, {
                            'type': 'text',
                            'subkey': 'MPAir'
                        }, {
                            'type':
                            'text',
                            'value':
                            '<br>Cost of staying away from main home: '
                        }, {
                            'type': 'text',
                            'subkey': 'CostofStayingAwayFromMainHome'
                        }, {
                            'type': 'text',
                            'value': '<br>London Supplement: '
                        }, {
                            'type': 'text',
                            'subkey': 'LondonSupplement'
                        }, {
                            'type': 'text',
                            'value': '<br>Office Running Costs: '
                        }, {
                            'type': 'text',
                            'subkey': 'OfficeRunningCosts'
                        }, {
                            'type': 'text',
                            'value': '<br>Staffing Costs: '
                        }, {
                            'type': 'text',
                            'subkey': 'StaffingCosts'
                        }]
                    }
                }
            },
            'with': {
                'type': 'text',
                'value': ''
            }
        })

    sw_573 = pipe_loop(context,
                       sw_400,
                       embed=pipe_sw_581,
                       conf={
                           'assign_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'assign_to': {
                               'type': 'text',
                               'value': 'title'
                           },
                           'emit_part': {
                               'type': 'text',
                               'value': 'all'
                           },
                           'mode': {
                               'type': 'text',
                               'value': 'assign'
                           },
                           'embed': {
                               'type': 'module',
                               'value': {
                                   'type': 'strconcat',
                                   'id': 'sw-581',
                                   'conf': {
                                       'part': [{
                                           'type': 'text',
                                           'subkey': 'firstName'
                                       }, {
                                           'type': 'text',
                                           'value': ' '
                                       }, {
                                           'type': 'text',
                                           'subkey': 'Member'
                                       }]
                                   }
                               }
                           },
                           'with': {
                               'type': 'text',
                               'value': ''
                           }
                       })

    _OUTPUT = pipe_output(context, sw_573, conf={})

    return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [
            u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort',
            u'pipetruncate', u'pipeunion', u'pipeurlbuilder'
        ]

    forever = pipe_forever()

    sw_550 = pipe_fetch(
        context,
        forever,
        conf={
            'URL': [{
                'type': 'url',
                'value': 'file://data/blog.ouseful.info_feed.xml'
            }, {
                'type': 'url',
                'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml'
            }]
        })

    sw_606 = pipe_urlbuilder(
        context,
        forever,
        conf={
            'PATH': {
                'type': 'text',
                'value': ''
            },
            'BASE': {
                'type': 'text',
                'value': 'file://data/www.greenhughes.com_rssfeed.xml'
            },
            'PARAM': [{
                'value': {
                    'type': 'text',
                    'value': ''
                },
                'key': {
                    'type': 'text',
                    'value': ''
                }
            }]
        })

    sw_572 = pipe_fetch(context,
                        forever,
                        _1_URL=sw_606,
                        conf={'URL': {
                            'terminal': '1_URL',
                            'type': 'url'
                        }})

    sw_580 = pipe_union(context, sw_550, _OTHER=sw_572, conf={})

    sw_565 = pipe_sort(context,
                       sw_580,
                       conf={
                           'KEY': [{
                               'field': {
                                   'type': 'text',
                                   'value': 'title'
                               },
                               'dir': {
                                   'type': 'text',
                                   'value': 'ASC'
                               }
                           }]
                       })

    sw_596 = pipe_truncate(context,
                           sw_565,
                           conf={'count': {
                               'type': 'number',
                               'value': '3'
                           }})

    sw_625 = pipe_reverse(context, sw_596, conf={})

    _OUTPUT = pipe_output(context, sw_625, conf={})

    return _OUTPUT
示例#44
0
def pipe_e519dd393f943315f7e4128d19db2eac(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [(u'', u'q', u'Search term:', u'text', u'enterprise mashup')]

    if context and context.describe_dependencies:
        return [
            u'pipefetch', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder'
        ]

    forever = pipe_forever()

    sw_552 = pipe_textinput(context,
                            forever,
                            conf={
                                'debug': {
                                    'type': 'text',
                                    'value': ''
                                },
                                'default': {
                                    'type': 'text',
                                    'value': 'enterprise mashup'
                                },
                                'prompt': {
                                    'type': 'text',
                                    'value': 'Search term:'
                                },
                                'name': {
                                    'type': 'text',
                                    'value': 'q'
                                },
                                'position': {
                                    'type': 'number',
                                    'value': ''
                                }
                            })

    sw_492 = pipe_urlbuilder(context,
                             forever,
                             PARAM_5_value=sw_552,
                             conf={
                                 'PATH': {
                                     'type': 'text',
                                     'value': ''
                                 },
                                 'BASE': {
                                     'type': 'text',
                                     'value': 'http://news.google.com/news'
                                 },
                                 'PARAM': [{
                                     'value': {
                                         'type': 'text',
                                         'value': '1'
                                     },
                                     'key': {
                                         'type': 'text',
                                         'value': 'pz'
                                     }
                                 }, {
                                     'value': {
                                         'type': 'text',
                                         'value': 'all'
                                     },
                                     'key': {
                                         'type': 'text',
                                         'value': 'cf'
                                     }
                                 }, {
                                     'value': {
                                         'type': 'text',
                                         'value': 'uk'
                                     },
                                     'key': {
                                         'type': 'text',
                                         'value': 'ned'
                                     }
                                 }, {
                                     'value': {
                                         'type': 'text',
                                         'value': 'en'
                                     },
                                     'key': {
                                         'type': 'text',
                                         'value': 'hl'
                                     }
                                 }, {
                                     'value': {
                                         'terminal': 'PARAM_5_value',
                                         'type': 'text'
                                     },
                                     'key': {
                                         'type': 'text',
                                         'value': 'q'
                                     }
                                 }, {
                                     'value': {
                                         'type': 'text',
                                         'value': 'rss'
                                     },
                                     'key': {
                                         'type': 'text',
                                         'value': 'output'
                                     }
                                 }]
                             })

    sw_481 = pipe_fetch(context,
                        forever,
                        _1_URL=sw_492,
                        conf={'URL': {
                            'terminal': '1_URL',
                            'type': 'url'
                        }})

    _OUTPUT = pipe_output(context, sw_481, conf={})

    return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [
            u"pipefetch",
            u"pipefilter",
            u"pipeoutput",
            u"piperegex",
            u"piperename",
            u"pipesort",
            u"pipeunion",
            u"pipeuniq",
        ]

    forever = pipe_forever()

    sw_135 = pipe_fetch(
        context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Topthemen.xml"}}
    )

    sw_233 = pipe_fetch(
        context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Politik.xml"}}
    )

    sw_154 = pipe_union(context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135)

    sw_173 = pipe_uniq(context, sw_154, conf={"field": {"type": "text", "value": "title"}})

    sw_180 = pipe_filter(
        context,
        sw_173,
        conf={
            "COMBINE": {"type": "text", "value": "or"},
            "MODE": {"type": "text", "value": "block"},
            "RULE": [
                {
                    "field": {"type": "text", "value": "link"},
                    "value": {"type": "text", "value": "/sport/"},
                    "op": {"type": "text", "value": "contains"},
                },
                {
                    "field": {"type": "text", "value": "title"},
                    "value": {"type": "text", "value": "Bildstrecke:"},
                    "op": {"type": "text", "value": "contains"},
                },
            ],
        },
    )

    sw_210 = pipe_rename(
        context,
        sw_180,
        conf={
            "RULE": [
                {
                    "field": {"type": "text", "value": "y:id.value"},
                    "op": {"type": "text", "value": "copy"},
                    "newval": {"type": "text", "value": "link"},
                }
            ]
        },
    )

    sw_195 = pipe_regex(
        context,
        sw_210,
        conf={
            "RULE": [
                {
                    "singlelinematch": {"type": "text", "value": "2"},
                    "globalmatch": {"type": "text", "value": "1"},
                    "replace": {"type": "text", "value": ""},
                    "field": {"type": "text", "value": "description"},
                    "casematch": {"type": "text", "value": "8"},
                    "match": {"type": "text", "value": "</div>.*$"},
                },
                {
                    "field": {"type": "text", "value": "link"},
                    "match": {"type": "text", "value": "^(.*\\/.*)\\/"},
                    "replace": {"type": "text", "value": "$1/2.220/"},
                },
            ]
        },
    )

    sw_191 = pipe_sort(
        context,
        sw_195,
        conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]},
    )

    _OUTPUT = pipe_output(context, sw_191, conf={})

    return _OUTPUT
示例#46
0
def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None,
                                          _INPUT=None,
                                          conf=None,
                                          **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return [
            (u'', u'q', u'Caption search term', u'text', u'maverick'),
            (u'', u'url', u'Caption URL', u'url',
             u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'
             )
        ]

    if context and context.describe_dependencies:
        return [
            u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex',
            u'piperename', u'pipetextinput', u'pipeurlinput'
        ]

    forever = pipe_forever()

    sw_521 = pipe_urlinput(
        context,
        forever,
        conf={
            'debug': {
                'type': 'url',
                'value': ''
            },
            'default': {
                'type':
                'url',
                'value':
                'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'
            },
            'prompt': {
                'type': 'text',
                'value': 'Caption URL'
            },
            'name': {
                'type': 'text',
                'value': 'url'
            },
            'position': {
                'type': 'number',
                'value': ''
            }
        })

    sw_572 = pipe_fetchdata(context,
                            forever,
                            URL=sw_521,
                            conf={
                                'URL': {
                                    'terminal': 'URL',
                                    'type': 'url'
                                },
                                'path': {
                                    'type': 'text',
                                    'value': 'body.div.p'
                                }
                            })

    sw_621 = pipe_textinput(context,
                            forever,
                            conf={
                                'debug': {
                                    'type': 'text',
                                    'value': ''
                                },
                                'default': {
                                    'type': 'text',
                                    'value': 'maverick'
                                },
                                'prompt': {
                                    'type': 'text',
                                    'value': 'Caption search term'
                                },
                                'name': {
                                    'type': 'text',
                                    'value': 'q'
                                },
                                'position': {
                                    'type': 'number',
                                    'value': ''
                                }
                            })

    sw_584 = pipe_filter(context,
                         sw_572,
                         RULE_1_value=sw_621,
                         conf={
                             'COMBINE': {
                                 'type': 'text',
                                 'value': 'and'
                             },
                             'MODE': {
                                 'type': 'text',
                                 'value': 'permit'
                             },
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'content'
                                 },
                                 'value': {
                                     'terminal': 'RULE_1_value',
                                     'type': 'text'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'contains'
                                 }
                             }]
                         })

    sw_595 = pipe_rename(context,
                         sw_584,
                         conf={
                             'RULE': [{
                                 'field': {
                                     'type': 'text',
                                     'value': 'begin'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'ctime'
                                 }
                             }, {
                                 'field': {
                                     'type': 'text',
                                     'value': 'content'
                                 },
                                 'op': {
                                     'type': 'text',
                                     'value': 'copy'
                                 },
                                 'newval': {
                                     'type': 'text',
                                     'value': 'title'
                                 }
                             }]
                         })

    sw_606 = pipe_regex(context,
                        sw_595,
                        conf={
                            'RULE': [{
                                'field': {
                                    'type': 'text',
                                    'value': 'ctime'
                                },
                                'match': {
                                    'type': 'text',
                                    'value': '(.*)'
                                },
                                'replace': {
                                    'type': 'text',
                                    'value': '&time=$1'
                                }
                            }]
                        })

    _OUTPUT = pipe_output(context, sw_606, conf={})

    return _OUTPUT
示例#47
0
def pipe_8NMkiTW32xGvMbDKruymrA(context=None,
                                _INPUT=None,
                                conf=None,
                                **kwargs):
    # todo: insert pipeline description here
    conf = conf or {}

    if context and context.describe_input:
        return []

    if context and context.describe_dependencies:
        return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort']

    forever = pipe_forever()

    sw_35 = pipe_fetch(
        context,
        forever,
        conf={
            'URL': [{
                'type':
                'url',
                'value':
                'file://data/www.fourtitude.com_news_publish_rss.xml'
            }, {
                'type': 'url',
                'value': 'file://data/feeds.gawker.com_jalopnik_full.xml'
            }, {
                'type': 'url',
                'value': 'file://data/www.autoblog.com_rss.xml'
            }]
        })

    sw_54 = pipe_filter(context,
                        sw_35,
                        conf={
                            'COMBINE': {
                                'type': 'text',
                                'value': 'or'
                            },
                            'MODE': {
                                'type': 'text',
                                'value': 'permit'
                            },
                            'RULE': [{
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Porsche'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Mercedes'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'BMW'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Audi'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'VW'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Lamborghini'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Ferrari'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Pagani'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Aston'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'Lotus'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'TVR'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }, {
                                'field': {
                                    'type': 'text',
                                    'value': 'description'
                                },
                                'value': {
                                    'type': 'text',
                                    'value': 'AMG'
                                },
                                'op': {
                                    'type': 'text',
                                    'value': 'contains'
                                }
                            }]
                        })

    sw_105 = pipe_sort(context,
                       sw_54,
                       conf={
                           'KEY': [{
                               'field': {
                                   'type': 'text',
                                   'value': 'pubDate'
                               },
                               'dir': {
                                   'type': 'text',
                                   'value': 'DESC'
                               }
                           }]
                       })

    _OUTPUT = pipe_output(context, sw_105, conf={})

    return _OUTPUT