def pipe_HrX5bjkv3BGEp9eSy6ky6g(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefeedautodiscovery', u'pipefetch', u'pipeloop', u'pipeoutput', u'pipesort', u'pipetruncate'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_165(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetch( context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'link'}}) sw_149 = pipe_feedautodiscovery( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/edition.cnn.html'}}) sw_157 = pipe_loop( context, sw_149, embed=pipe_sw_165, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:fetch'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'fetch', 'id': 'sw-165', 'conf': {'URL': {'type': 'url', 'subkey': 'link'}}}}, 'with': {'type': 'text', 'value': ''}}) sw_174 = pipe_sort( context, sw_157, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'ASC'}}]}) sw_191 = pipe_truncate( context, sw_174, conf={'count': {'type': 'number', 'value': '25'}}) _OUTPUT = pipe_output( context, sw_191, conf={}) return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'numberinput1', u'How many items do you want in the feed?', u'number', u'5')] if context and context.describe_dependencies: return [u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort', u'pipetail'] forever = pipe_forever() sw_123 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/news.yahoo.com_rss_topstories.xml'}}) sw_135 = pipe_sort( context, sw_123, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'DESC'}}]}) sw_131 = pipe_numberinput( context, forever, conf={'debug': {'type': 'number', 'value': ''}, 'default': {'type': 'number', 'value': '5'}, 'prompt': {'type': 'text', 'value': 'How many items do you want in the feed?'}, 'name': {'type': 'text', 'value': 'numberinput1'}, 'position': {'type': 'number', 'value': ''}}) sw_106 = pipe_tail( context, sw_135, count=sw_131, conf={'count': {'terminal': 'count', 'type': 'number'}}) _OUTPUT = pipe_output( context, sw_106, conf={}) return _OUTPUT
def pipe_8NMkiTW32xGvMbDKruymrA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort'] forever = pipe_forever() sw_35 = pipe_fetch( context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/www.fourtitude.com_news_publish_rss.xml'}, {'type': 'url', 'value': 'file://data/feeds.gawker.com_jalopnik_full.xml'}, {'type': 'url', 'value': 'file://data/www.autoblog.com_rss.xml'}]}) sw_54 = pipe_filter( context, sw_35, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Porsche'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Mercedes'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'BMW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Audi'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'VW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lamborghini'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Ferrari'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Pagani'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Aston'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lotus'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'TVR'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'AMG'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_105 = pipe_sort( context, sw_54, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]}) _OUTPUT = pipe_output( context, sw_105, conf={}) return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] forever = pipe_forever() sw_68 = pipe_fetch( context, forever, conf={ "URL": [ {"type": "url", "value": "http://www.guru.com/rss/jobs/c/web-software-it/"}, { "type": "url", "value": "https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort", }, ] }, ) sw_90 = pipe_uniq(context, sw_68, conf={"field": {"type": "text", "value": "link"}}) sw_87 = pipe_filter( context, sw_90, conf={ "COMBINE": {"type": "text", "value": "or"}, "MODE": {"type": "text", "value": "block"}, "RULE": [ { "field": {"type": "text", "value": "title"}, "value": {"type": "text", "value": "php"}, "op": {"type": "text", "value": "contains"}, } ], }, ) sw_101 = pipe_sort( context, sw_87, conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]}, ) _OUTPUT = pipe_output(context, sw_101, conf={}) return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipesort', u'pipeunion', u'pipeuniq'] forever = pipe_forever() sw_135 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Topthemen.xml'}}) sw_233 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Politik.xml'}}) sw_154 = pipe_union( context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135) sw_173 = pipe_uniq( context, sw_154, conf={'field': {'type': 'text', 'value': 'title'}}) sw_180 = pipe_filter( context, sw_173, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'block'}, 'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'value': {'type': 'text', 'value': '/sport/'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': 'Bildstrecke:'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_210 = pipe_rename( context, sw_180, conf={'RULE': [{'field': {'type': 'text', 'value': 'y:id.value'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}]}) sw_195 = pipe_regex( context, sw_210, conf={'RULE': [{'singlelinematch': {'type': 'text', 'value': '2'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'replace': {'type': 'text', 'value': ''}, 'field': {'type': 'text', 'value': 'description'}, 'casematch': {'type': 'text', 'value': '8'}, 'match': {'type': 'text', 'value': '</div>.*$'}}, {'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '^(.*\\/.*)\\/'}, 'replace': {'type': 'text', 'value': '$1/2.220/'}}]}) sw_191 = pipe_sort( context, sw_195, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]}) _OUTPUT = pipe_output( context, sw_191, conf={}) return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder'] forever = pipe_forever() sw_550 = pipe_fetch( context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml'}, {'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml'}]}) sw_606 = pipe_urlbuilder( context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml'}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]}) sw_572 = pipe_fetch( context, forever, _1_URL=sw_606, conf={'URL': {'terminal': '1_URL', 'type': 'url'}}) sw_580 = pipe_union( context, sw_550, _OTHER=sw_572, conf={}) sw_565 = pipe_sort( context, sw_580, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'ASC'}}]}) sw_596 = pipe_truncate( context, sw_565, conf={'count': {'type': 'number', 'value': '3'}}) sw_625 = pipe_reverse( context, sw_596, conf={}) _OUTPUT = pipe_output( context, sw_625, conf={}) return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'numberinput1', u'How many items do you want in the feed?', u'number', u'5')] if context and context.describe_dependencies: return [ u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort', u'pipetail' ] forever = pipe_forever() sw_123 = pipe_fetch(context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/news.yahoo.com_rss_topstories.xml' } }) sw_135 = pipe_sort(context, sw_123, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'title' }, 'dir': { 'type': 'text', 'value': 'DESC' } }] }) sw_131 = pipe_numberinput(context, forever, conf={ 'debug': { 'type': 'number', 'value': '' }, 'default': { 'type': 'number', 'value': '5' }, 'prompt': { 'type': 'text', 'value': 'How many items do you want in the feed?' }, 'name': { 'type': 'text', 'value': 'numberinput1' }, 'position': { 'type': 'number', 'value': '' } }) sw_106 = pipe_tail(context, sw_135, count=sw_131, conf={'count': { 'terminal': 'count', 'type': 'number' }}) _OUTPUT = pipe_output(context, sw_106, conf={}) return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder' ] forever = pipe_forever() sw_550 = pipe_fetch( context, forever, conf={ 'URL': [{ 'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml' }, { 'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml' }] }) sw_606 = pipe_urlbuilder( context, forever, conf={ 'PATH': { 'type': 'text', 'value': '' }, 'BASE': { 'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml' }, 'PARAM': [{ 'value': { 'type': 'text', 'value': '' }, 'key': { 'type': 'text', 'value': '' } }] }) sw_572 = pipe_fetch(context, forever, _1_URL=sw_606, conf={'URL': { 'terminal': '1_URL', 'type': 'url' }}) sw_580 = pipe_union(context, sw_550, _OTHER=sw_572, conf={}) sw_565 = pipe_sort(context, sw_580, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'title' }, 'dir': { 'type': 'text', 'value': 'ASC' } }] }) sw_596 = pipe_truncate(context, sw_565, conf={'count': { 'type': 'number', 'value': '3' }}) sw_625 = pipe_reverse(context, sw_596, conf={}) _OUTPUT = pipe_output(context, sw_625, conf={}) return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] forever = pipe_forever() sw_68 = pipe_fetch( context, forever, conf={ 'URL': [{ 'type': 'url', 'value': 'http://www.guru.com/rss/jobs/c/web-software-it/' }, { 'type': 'url', 'value': 'https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort' }] }) sw_90 = pipe_uniq(context, sw_68, conf={'field': { 'type': 'text', 'value': 'link' }}) sw_87 = pipe_filter(context, sw_90, conf={ 'COMBINE': { 'type': 'text', 'value': 'or' }, 'MODE': { 'type': 'text', 'value': 'block' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'title' }, 'value': { 'type': 'text', 'value': 'php' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) sw_101 = pipe_sort(context, sw_87, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'pubDate' }, 'dir': { 'type': 'text', 'value': 'DESC' } }] }) _OUTPUT = pipe_output(context, sw_101, conf={}) return _OUTPUT
def pipe_8NMkiTW32xGvMbDKruymrA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort'] forever = pipe_forever() sw_35 = pipe_fetch( context, forever, conf={ 'URL': [{ 'type': 'url', 'value': 'file://data/www.fourtitude.com_news_publish_rss.xml' }, { 'type': 'url', 'value': 'file://data/feeds.gawker.com_jalopnik_full.xml' }, { 'type': 'url', 'value': 'file://data/www.autoblog.com_rss.xml' }] }) sw_54 = pipe_filter(context, sw_35, conf={ 'COMBINE': { 'type': 'text', 'value': 'or' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Porsche' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Mercedes' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'BMW' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Audi' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'VW' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Lamborghini' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Ferrari' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Pagani' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Aston' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Lotus' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'TVR' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'AMG' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) sw_105 = pipe_sort(context, sw_54, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'pubDate' }, 'dir': { 'type': 'text', 'value': 'DESC' } }] }) _OUTPUT = pipe_output(context, sw_105, conf={}) return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u"pipefetch", u"pipefilter", u"pipeoutput", u"piperegex", u"piperename", u"pipesort", u"pipeunion", u"pipeuniq", ] forever = pipe_forever() sw_135 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Topthemen.xml"}} ) sw_233 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Politik.xml"}} ) sw_154 = pipe_union(context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135) sw_173 = pipe_uniq(context, sw_154, conf={"field": {"type": "text", "value": "title"}}) sw_180 = pipe_filter( context, sw_173, conf={ "COMBINE": {"type": "text", "value": "or"}, "MODE": {"type": "text", "value": "block"}, "RULE": [ { "field": {"type": "text", "value": "link"}, "value": {"type": "text", "value": "/sport/"}, "op": {"type": "text", "value": "contains"}, }, { "field": {"type": "text", "value": "title"}, "value": {"type": "text", "value": "Bildstrecke:"}, "op": {"type": "text", "value": "contains"}, }, ], }, ) sw_210 = pipe_rename( context, sw_180, conf={ "RULE": [ { "field": {"type": "text", "value": "y:id.value"}, "op": {"type": "text", "value": "copy"}, "newval": {"type": "text", "value": "link"}, } ] }, ) sw_195 = pipe_regex( context, sw_210, conf={ "RULE": [ { "singlelinematch": {"type": "text", "value": "2"}, "globalmatch": {"type": "text", "value": "1"}, "replace": {"type": "text", "value": ""}, "field": {"type": "text", "value": "description"}, "casematch": {"type": "text", "value": "8"}, "match": {"type": "text", "value": "</div>.*$"}, }, { "field": {"type": "text", "value": "link"}, "match": {"type": "text", "value": "^(.*\\/.*)\\/"}, "replace": {"type": "text", "value": "$1/2.220/"}, }, ] }, ) sw_191 = pipe_sort( context, sw_195, conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]}, ) _OUTPUT = pipe_output(context, sw_191, conf={}) return _OUTPUT