def pipe_404411a8d22104920f3fc1f428f33642(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipetruncate']
forever = pipe_forever()
sw_502 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=15.xml'}})
sw_561 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=3.xml'}})
sw_569 = pipe_count(
context, sw_561, conf={})
sw_583 = pipe_truncate(
context, sw_502, count=sw_569, conf={'count': {'terminal': 'count', 'type': 'number'}})
_OUTPUT = pipe_output(
context, sw_583, conf={})
return _OUTPUT
def pipe_404411a8d22104920f3fc1f428f33642(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipetruncate']
forever = pipe_forever()
sw_502 = pipe_fetch(
context,
forever,
conf={
'URL': {
'type':
'url',
'value':
'file://data/feeds.delicious.com_v2_rss_popular?count=15.xml'
}
})
sw_561 = pipe_fetch(
context,
forever,
conf={
'URL': {
'type':
'url',
'value':
'file://data/feeds.delicious.com_v2_rss_popular?count=3.xml'
}
})
sw_569 = pipe_count(context, sw_561, conf={})
sw_583 = pipe_truncate(
context,
sw_502,
count=sw_569,
conf={'count': {
'terminal': 'count',
'type': 'number'
}})
_OUTPUT = pipe_output(context, sw_583, conf={})
return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'numberinput1', u'How many items do you want in the feed?', u'number', u'5')]
if context and context.describe_dependencies:
return [u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort', u'pipetail']
forever = pipe_forever()
sw_123 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/news.yahoo.com_rss_topstories.xml'}})
sw_135 = pipe_sort(
context, sw_123, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'DESC'}}]})
sw_131 = pipe_numberinput(
context, forever, conf={'debug': {'type': 'number', 'value': ''}, 'default': {'type': 'number', 'value': '5'}, 'prompt': {'type': 'text', 'value': 'How many items do you want in the feed?'}, 'name': {'type': 'text', 'value': 'numberinput1'}, 'position': {'type': 'number', 'value': ''}})
sw_106 = pipe_tail(
context, sw_135, count=sw_131, conf={'count': {'terminal': 'count', 'type': 'number'}})
_OUTPUT = pipe_output(
context, sw_106, conf={})
return _OUTPUT
def pipe_2de0e4517ed76082dcddf66f7b218057(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipeoutput']
forever = pipe_forever()
sw_478 = pipe_fetch(context,
forever,
conf={
'URL': {
'type':
'url',
'value':
'file://data/feeds.feedburner.com_ouseful.xml'
}
})
_OUTPUT = pipe_output(context, sw_478, conf={})
return _OUTPUT
def pipe_zKJifuNS3BGLRQK_GsevXg(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipesimplemath', u'pipesplit', u'pipetruncate']
forever = pipe_forever()
sw_224 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/www.sciencedaily.com_rss_computers_math.html'}})
sw_250 = pipe_split(
context, sw_224, splits=2, conf=None)
sw_243 = pipe_count(
context, sw_250, conf=None)
sw_94 = pipe_simplemath(
context, sw_243, conf={'OTHER': {'type': 'number', 'value': '5'}, 'OP': {'type': 'text', 'value': 'modulo'}})
sw_169 = pipe_simplemath(
context, sw_243, OTHER=sw_94, conf={'OTHER': {'terminal': 'OTHER', 'type': 'number'}, 'OP': {'type': 'text', 'value': 'subtract'}})
sw_232 = pipe_truncate(
context, sw_250, count=sw_169, conf={'count': {'terminal': 'count', 'type': 'number'}})
_OUTPUT = pipe_output(
context, sw_232, conf=None)
return _OUTPUT
def pipe_1LNyRuNS3BGdkTKaAsqenA(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'textinput1', u'Stock Symbol:', u'text', u'yhoo'), (u'', u'textinput2', u'Search Term:', u'text', u'')]
if context and context.describe_dependencies:
return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder']
forever = pipe_forever()
sw_131 = pipe_textinput(
context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': ''}, 'prompt': {'type': 'text', 'value': 'Search Term:'}, 'name': {'type': 'text', 'value': 'textinput2'}, 'position': {'type': 'number', 'value': ''}})
sw_116 = pipe_textinput(
context, forever, conf={'debug': {'type': 'text', 'value': 'yhoo'}, 'default': {'type': 'text', 'value': 'yhoo'}, 'prompt': {'type': 'text', 'value': 'Stock Symbol:'}, 'name': {'type': 'text', 'value': 'textinput1'}, 'position': {'type': 'number', 'value': ''}})
sw_85 = pipe_urlbuilder(
context, forever, PARAM_1_value=sw_116, conf={'PATH': {'type': 'text', 'value': 'headline'}, 'BASE': {'type': 'text', 'value': 'http://finance.yahoo.com/rss'}, 'PARAM': [{'value': {'terminal': 'PARAM_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 's'}}]})
sw_108 = pipe_fetch(
context, forever, _1_URL=sw_85, conf={'URL': {'terminal': '1_URL', 'type': 'url'}})
sw_120 = pipe_filter(
context, sw_108, RULE_1_value=sw_131, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]})
_OUTPUT = pipe_output(
context, sw_120, conf={})
return _OUTPUT
def pipe_e519dd393f943315f7e4128d19db2eac(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'q', u'Search term:', u'text', u'enterprise mashup')]
if context and context.describe_dependencies:
return [u'pipefetch', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder']
forever = pipe_forever()
sw_552 = pipe_textinput(
context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'enterprise mashup'}, 'prompt': {'type': 'text', 'value': 'Search term:'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}})
sw_492 = pipe_urlbuilder(
context, forever, PARAM_5_value=sw_552, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'http://news.google.com/news'}, 'PARAM': [{'value': {'type': 'text', 'value': '1'}, 'key': {'type': 'text', 'value': 'pz'}}, {'value': {'type': 'text', 'value': 'all'}, 'key': {'type': 'text', 'value': 'cf'}}, {'value': {'type': 'text', 'value': 'uk'}, 'key': {'type': 'text', 'value': 'ned'}}, {'value': {'type': 'text', 'value': 'en'}, 'key': {'type': 'text', 'value': 'hl'}}, {'value': {'terminal': 'PARAM_5_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': 'rss'}, 'key': {'type': 'text', 'value': 'output'}}]})
sw_481 = pipe_fetch(
context, forever, _1_URL=sw_492, conf={'URL': {'terminal': '1_URL', 'type': 'url'}})
_OUTPUT = pipe_output(
context, sw_481, conf={})
return _OUTPUT
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipeurlbuilder']
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_urlbuilder(
context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]})
sw_565 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': ''}})
sw_626 = pipe_loop(
context, sw_565, embed=pipe_sw_634, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'media:content.url'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'urlbuilder', 'id': 'sw-634', 'conf': {'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]}}}, 'with': {'type': 'text', 'value': ''}})
sw_592 = pipe_rename(
context, sw_626, conf={'RULE': [{'field': {'type': 'text', 'value': 'media:content.url'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]})
sw_636 = pipe_regex(
context, sw_592, conf={'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '<img src="$1" alt="QRcode" /><br/>${title}'}}]})
_OUTPUT = pipe_output(
context, sw_636, conf={})
return _OUTPUT
def pipe_8NMkiTW32xGvMbDKruymrA(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort']
forever = pipe_forever()
sw_35 = pipe_fetch(
context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/www.fourtitude.com_news_publish_rss.xml'}, {'type': 'url', 'value': 'file://data/feeds.gawker.com_jalopnik_full.xml'}, {'type': 'url', 'value': 'file://data/www.autoblog.com_rss.xml'}]})
sw_54 = pipe_filter(
context, sw_35, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Porsche'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Mercedes'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'BMW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Audi'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'VW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lamborghini'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Ferrari'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Pagani'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Aston'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lotus'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'TVR'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'AMG'}, 'op': {'type': 'text', 'value': 'contains'}}]})
sw_105 = pipe_sort(
context, sw_54, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]})
_OUTPUT = pipe_output(
context, sw_105, conf={})
return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipesort', u'pipeunion', u'pipeuniq']
forever = pipe_forever()
sw_135 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Topthemen.xml'}})
sw_233 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Politik.xml'}})
sw_154 = pipe_union(
context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135)
sw_173 = pipe_uniq(
context, sw_154, conf={'field': {'type': 'text', 'value': 'title'}})
sw_180 = pipe_filter(
context, sw_173, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'block'}, 'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'value': {'type': 'text', 'value': '/sport/'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': 'Bildstrecke:'}, 'op': {'type': 'text', 'value': 'contains'}}]})
sw_210 = pipe_rename(
context, sw_180, conf={'RULE': [{'field': {'type': 'text', 'value': 'y:id.value'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}]})
sw_195 = pipe_regex(
context, sw_210, conf={'RULE': [{'singlelinematch': {'type': 'text', 'value': '2'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'replace': {'type': 'text', 'value': ''}, 'field': {'type': 'text', 'value': 'description'}, 'casematch': {'type': 'text', 'value': '8'}, 'match': {'type': 'text', 'value': '</div>.*$'}}, {'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '^(.*\\/.*)\\/'}, 'replace': {'type': 'text', 'value': '$1/2.220/'}}]})
sw_191 = pipe_sort(
context, sw_195, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]})
_OUTPUT = pipe_output(
context, sw_191, conf={})
return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
forever = pipe_forever()
sw_68 = pipe_fetch(
context,
forever,
conf={
"URL": [
{"type": "url", "value": "http://www.guru.com/rss/jobs/c/web-software-it/"},
{
"type": "url",
"value": "https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort",
},
]
},
)
sw_90 = pipe_uniq(context, sw_68, conf={"field": {"type": "text", "value": "link"}})
sw_87 = pipe_filter(
context,
sw_90,
conf={
"COMBINE": {"type": "text", "value": "or"},
"MODE": {"type": "text", "value": "block"},
"RULE": [
{
"field": {"type": "text", "value": "title"},
"value": {"type": "text", "value": "php"},
"op": {"type": "text", "value": "contains"},
}
],
},
)
sw_101 = pipe_sort(
context,
sw_87,
conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]},
)
_OUTPUT = pipe_output(context, sw_101, conf={})
return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder']
forever = pipe_forever()
sw_550 = pipe_fetch(
context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml'}, {'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml'}]})
sw_606 = pipe_urlbuilder(
context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml'}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]})
sw_572 = pipe_fetch(
context, forever, _1_URL=sw_606, conf={'URL': {'terminal': '1_URL', 'type': 'url'}})
sw_580 = pipe_union(
context, sw_550, _OTHER=sw_572, conf={})
sw_565 = pipe_sort(
context, sw_580, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'ASC'}}]})
sw_596 = pipe_truncate(
context, sw_565, conf={'count': {'type': 'number', 'value': '3'}})
sw_625 = pipe_reverse(
context, sw_596, conf={})
_OUTPUT = pipe_output(
context, sw_625, conf={})
return _OUTPUT
def pipe_testpipe1(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and (context.describe_input or context.describe_dependencies):
return []
forever = pipe_forever()
sw_90 = pipe_fetch(
context,
forever,
conf={'URL': {
'type': 'url',
'value': 'file://data/feed.xml'
}})
sw_102 = pipe_filter(context,
sw_90,
conf={
'COMBINE': {
'type': 'text',
'value': 'and'
},
'MODE': {
'type': 'text',
'value': 'permit'
},
'RULE': [{
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'the'
},
'op': {
'type': 'text',
'value': 'contains'
}
}]
})
_OUTPUT = pipe_output(context, sw_102, conf=[])
return _OUTPUT
def pipe_testpipe1(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and (context.describe_input or context.describe_dependencies):
return []
forever = pipe_forever()
sw_90 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feed.xml'}})
sw_102 = pipe_filter(
context, sw_90, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'the'}, 'op': {'type': 'text', 'value': 'contains'}}]})
_OUTPUT = pipe_output(context, sw_102, conf=[])
return _OUTPUT
def pipe_2de0e4517ed76082dcddf66f7b218057(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipeoutput']
forever = pipe_forever()
sw_478 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.feedburner.com_ouseful.xml'}})
_OUTPUT = pipe_output(
context, sw_478, conf={})
return _OUTPUT
def pipe_1LNyRuNS3BGdkTKaAsqenA(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'textinput1', u'Stock Symbol:', u'text', u'yhoo'),
(u'', u'textinput2', u'Search Term:', u'text', u'')]
if context and context.describe_dependencies:
return [
u'pipefetch', u'pipefilter', u'pipeoutput', u'pipetextinput',
u'pipeurlbuilder'
]
forever = pipe_forever()
sw_131 = pipe_textinput(context,
forever,
conf={
'debug': {
'type': 'text',
'value': ''
},
'default': {
'type': 'text',
'value': ''
},
'prompt': {
'type': 'text',
'value': 'Search Term:'
},
'name': {
'type': 'text',
'value': 'textinput2'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_116 = pipe_textinput(context,
forever,
conf={
'debug': {
'type': 'text',
'value': 'yhoo'
},
'default': {
'type': 'text',
'value': 'yhoo'
},
'prompt': {
'type': 'text',
'value': 'Stock Symbol:'
},
'name': {
'type': 'text',
'value': 'textinput1'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_85 = pipe_urlbuilder(context,
forever,
PARAM_1_value=sw_116,
conf={
'PATH': {
'type': 'text',
'value': 'headline'
},
'BASE': {
'type': 'text',
'value': 'http://finance.yahoo.com/rss'
},
'PARAM': [{
'value': {
'terminal': 'PARAM_1_value',
'type': 'text'
},
'key': {
'type': 'text',
'value': 's'
}
}]
})
sw_108 = pipe_fetch(context,
forever,
_1_URL=sw_85,
conf={'URL': {
'terminal': '1_URL',
'type': 'url'
}})
sw_120 = pipe_filter(context,
sw_108,
RULE_1_value=sw_131,
conf={
'COMBINE': {
'type': 'text',
'value': 'and'
},
'MODE': {
'type': 'text',
'value': 'permit'
},
'RULE': [{
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'terminal': 'RULE_1_value',
'type': 'text'
},
'op': {
'type': 'text',
'value': 'contains'
}
}]
})
_OUTPUT = pipe_output(context, sw_120, conf={})
return _OUTPUT
def pipe_QMrlL_FS3BGlpwryODY80A(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u"pipefetch", u"pipefilter", u"pipeoutput", u"piperegex", u"pipesplit", u"pipeunion"]
forever = pipe_forever()
sw_140 = pipe_fetch(
context, forever, conf={"URL": {"type": "url", "value": "file://data/news.yahoo.com_rss_health.xml"}}
)
sw_108 = pipe_split(context, sw_140, splits=2, conf=None)
sw_159 = pipe_filter(
context,
sw_108,
conf={
"COMBINE": {"type": "text", "value": "and"},
"MODE": {"type": "text", "value": "permit"},
"RULE": {
"field": {"type": "text", "value": "description"},
"value": {"type": "text", "value": "drug"},
"op": {"type": "text", "value": "contains"},
},
},
)
sw_204 = pipe_regex(
context,
sw_159,
conf={
"RULE": {
"field": {"type": "text", "value": "title"},
"match": {"type": "text", "value": "(.+)"},
"replace": {"type": "text", "value": "[Drugs] $1"},
}
},
)
sw_148 = pipe_filter(
context,
sw_108,
conf={
"COMBINE": {"type": "text", "value": "and"},
"MODE": {"type": "text", "value": "permit"},
"RULE": {
"field": {"type": "text", "value": "description"},
"value": {"type": "text", "value": "weight"},
"op": {"type": "text", "value": "contains"},
},
},
)
sw_189 = pipe_regex(
context,
sw_148,
conf={
"RULE": {
"field": {"type": "text", "value": "title"},
"match": {"type": "text", "value": "(.+)"},
"replace": {"type": "text", "value": "[Weight] $1"},
}
},
)
sw_170 = pipe_union(context, forever, _OTHER3=sw_204, conf=None, _OTHER=sw_189)
_OUTPUT = pipe_output(context, sw_170, conf=None)
return _OUTPUT
def pipe_zKJifuNS3BGLRQK_GsevXg(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [
u'pipecount', u'pipefetch', u'pipeoutput', u'pipesimplemath',
u'pipesplit', u'pipetruncate'
]
forever = pipe_forever()
sw_224 = pipe_fetch(
context,
forever,
conf={
'URL': {
'type': 'url',
'value':
'file://data/www.sciencedaily.com_rss_computers_math.html'
}
})
sw_250 = pipe_split(context, sw_224, splits=2, conf=None)
sw_243 = pipe_count(context, sw_250, conf=None)
sw_94 = pipe_simplemath(context,
sw_243,
conf={
'OTHER': {
'type': 'number',
'value': '5'
},
'OP': {
'type': 'text',
'value': 'modulo'
}
})
sw_169 = pipe_simplemath(context,
sw_243,
OTHER=sw_94,
conf={
'OTHER': {
'terminal': 'OTHER',
'type': 'number'
},
'OP': {
'type': 'text',
'value': 'subtract'
}
})
sw_232 = pipe_truncate(
context,
sw_250,
count=sw_169,
conf={'count': {
'terminal': 'count',
'type': 'number'
}})
_OUTPUT = pipe_output(context, sw_232, conf=None)
return _OUTPUT
def pipe_e519dd393f943315f7e4128d19db2eac(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'q', u'Search term:', u'text', u'enterprise mashup')]
if context and context.describe_dependencies:
return [
u'pipefetch', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder'
]
forever = pipe_forever()
sw_552 = pipe_textinput(context,
forever,
conf={
'debug': {
'type': 'text',
'value': ''
},
'default': {
'type': 'text',
'value': 'enterprise mashup'
},
'prompt': {
'type': 'text',
'value': 'Search term:'
},
'name': {
'type': 'text',
'value': 'q'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_492 = pipe_urlbuilder(context,
forever,
PARAM_5_value=sw_552,
conf={
'PATH': {
'type': 'text',
'value': ''
},
'BASE': {
'type': 'text',
'value': 'http://news.google.com/news'
},
'PARAM': [{
'value': {
'type': 'text',
'value': '1'
},
'key': {
'type': 'text',
'value': 'pz'
}
}, {
'value': {
'type': 'text',
'value': 'all'
},
'key': {
'type': 'text',
'value': 'cf'
}
}, {
'value': {
'type': 'text',
'value': 'uk'
},
'key': {
'type': 'text',
'value': 'ned'
}
}, {
'value': {
'type': 'text',
'value': 'en'
},
'key': {
'type': 'text',
'value': 'hl'
}
}, {
'value': {
'terminal': 'PARAM_5_value',
'type': 'text'
},
'key': {
'type': 'text',
'value': 'q'
}
}, {
'value': {
'type': 'text',
'value': 'rss'
},
'key': {
'type': 'text',
'value': 'output'
}
}]
})
sw_481 = pipe_fetch(context,
forever,
_1_URL=sw_492,
conf={'URL': {
'terminal': '1_URL',
'type': 'url'
}})
_OUTPUT = pipe_output(context, sw_481, conf={})
return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'numberinput1',
u'How many items do you want in the feed?', u'number', u'5')]
if context and context.describe_dependencies:
return [
u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort',
u'pipetail'
]
forever = pipe_forever()
sw_123 = pipe_fetch(context,
forever,
conf={
'URL': {
'type':
'url',
'value':
'file://data/news.yahoo.com_rss_topstories.xml'
}
})
sw_135 = pipe_sort(context,
sw_123,
conf={
'KEY': [{
'field': {
'type': 'text',
'value': 'title'
},
'dir': {
'type': 'text',
'value': 'DESC'
}
}]
})
sw_131 = pipe_numberinput(context,
forever,
conf={
'debug': {
'type': 'number',
'value': ''
},
'default': {
'type': 'number',
'value': '5'
},
'prompt': {
'type':
'text',
'value':
'How many items do you want in the feed?'
},
'name': {
'type': 'text',
'value': 'numberinput1'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_106 = pipe_tail(context,
sw_135,
count=sw_131,
conf={'count': {
'terminal': 'count',
'type': 'number'
}})
_OUTPUT = pipe_output(context, sw_106, conf={})
return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [
u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort',
u'pipetruncate', u'pipeunion', u'pipeurlbuilder'
]
forever = pipe_forever()
sw_550 = pipe_fetch(
context,
forever,
conf={
'URL': [{
'type': 'url',
'value': 'file://data/blog.ouseful.info_feed.xml'
}, {
'type': 'url',
'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml'
}]
})
sw_606 = pipe_urlbuilder(
context,
forever,
conf={
'PATH': {
'type': 'text',
'value': ''
},
'BASE': {
'type': 'text',
'value': 'file://data/www.greenhughes.com_rssfeed.xml'
},
'PARAM': [{
'value': {
'type': 'text',
'value': ''
},
'key': {
'type': 'text',
'value': ''
}
}]
})
sw_572 = pipe_fetch(context,
forever,
_1_URL=sw_606,
conf={'URL': {
'terminal': '1_URL',
'type': 'url'
}})
sw_580 = pipe_union(context, sw_550, _OTHER=sw_572, conf={})
sw_565 = pipe_sort(context,
sw_580,
conf={
'KEY': [{
'field': {
'type': 'text',
'value': 'title'
},
'dir': {
'type': 'text',
'value': 'ASC'
}
}]
})
sw_596 = pipe_truncate(context,
sw_565,
conf={'count': {
'type': 'number',
'value': '3'
}})
sw_625 = pipe_reverse(context, sw_596, conf={})
_OUTPUT = pipe_output(context, sw_625, conf={})
return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
forever = pipe_forever()
sw_68 = pipe_fetch(
context,
forever,
conf={
'URL': [{
'type': 'url',
'value': 'http://www.guru.com/rss/jobs/c/web-software-it/'
}, {
'type':
'url',
'value':
'https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort'
}]
})
sw_90 = pipe_uniq(context,
sw_68,
conf={'field': {
'type': 'text',
'value': 'link'
}})
sw_87 = pipe_filter(context,
sw_90,
conf={
'COMBINE': {
'type': 'text',
'value': 'or'
},
'MODE': {
'type': 'text',
'value': 'block'
},
'RULE': [{
'field': {
'type': 'text',
'value': 'title'
},
'value': {
'type': 'text',
'value': 'php'
},
'op': {
'type': 'text',
'value': 'contains'
}
}]
})
sw_101 = pipe_sort(context,
sw_87,
conf={
'KEY': [{
'field': {
'type': 'text',
'value': 'pubDate'
},
'dir': {
'type': 'text',
'value': 'DESC'
}
}]
})
_OUTPUT = pipe_output(context, sw_101, conf={})
return _OUTPUT
def pipe_sw_165(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_fetch(
context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'link'}})
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [
u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex',
u'piperename', u'pipeurlbuilder'
]
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_urlbuilder(context,
forever,
conf={
'PATH': {
'type': 'text',
'value': ''
},
'BASE': {
'type': 'text',
'value': ''
},
'PARAM': [{
'value': {
'type': 'text',
'value': 'qr'
},
'key': {
'type': 'text',
'value': 'cht'
}
}, {
'value': {
'type': 'text',
'value': '200x200'
},
'key': {
'type': 'text',
'value': 'chs'
}
}, {
'value': {
'type': 'text',
'subkey': 'link'
},
'key': {
'type': 'text',
'value': 'chl'
}
}]
})
sw_565 = pipe_fetch(context,
forever,
conf={'URL': {
'type': 'url',
'value': ''
}})
sw_626 = pipe_loop(context,
sw_565,
embed=pipe_sw_634,
conf={
'assign_part': {
'type': 'text',
'value': 'all'
},
'assign_to': {
'type': 'text',
'value': 'media:content.url'
},
'emit_part': {
'type': 'text',
'value': 'all'
},
'mode': {
'type': 'text',
'value': 'assign'
},
'embed': {
'type': 'module',
'value': {
'type': 'urlbuilder',
'id': 'sw-634',
'conf': {
'PATH': {
'type': 'text',
'value': ''
},
'BASE': {
'type': 'text',
'value': ''
},
'PARAM': [{
'value': {
'type': 'text',
'value': 'qr'
},
'key': {
'type': 'text',
'value': 'cht'
}
}, {
'value': {
'type': 'text',
'value': '200x200'
},
'key': {
'type': 'text',
'value': 'chs'
}
}, {
'value': {
'type': 'text',
'subkey': 'link'
},
'key': {
'type': 'text',
'value': 'chl'
}
}]
}
}
},
'with': {
'type': 'text',
'value': ''
}
})
sw_592 = pipe_rename(context,
sw_626,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'media:content.url'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'description'
}
}]
})
sw_636 = pipe_regex(
context,
sw_592,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'description'
},
'match': {
'type': 'text',
'value': '(.*)'
},
'replace': {
'type': 'text',
'value': '<img src="$1" alt="QRcode" /><br/>${title}'
}
}]
})
_OUTPUT = pipe_output(context, sw_636, conf={})
return _OUTPUT
def pipe_QMrlL_FS3BGlpwryODY80A(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [
u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex',
u'pipesplit', u'pipeunion'
]
forever = pipe_forever()
sw_140 = pipe_fetch(context,
forever,
conf={
'URL': {
'type':
'url',
'value':
'file://data/news.yahoo.com_rss_health.xml'
}
})
sw_108 = pipe_split(context, sw_140, splits=2, conf=None)
sw_159 = pipe_filter(context,
sw_108,
conf={
'COMBINE': {
'type': 'text',
'value': 'and'
},
'MODE': {
'type': 'text',
'value': 'permit'
},
'RULE': {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'drug'
},
'op': {
'type': 'text',
'value': 'contains'
}
}
})
sw_204 = pipe_regex(context,
sw_159,
conf={
'RULE': {
'field': {
'type': 'text',
'value': 'title'
},
'match': {
'type': 'text',
'value': '(.+)'
},
'replace': {
'type': 'text',
'value': '[Drugs] $1'
}
}
})
sw_148 = pipe_filter(context,
sw_108,
conf={
'COMBINE': {
'type': 'text',
'value': 'and'
},
'MODE': {
'type': 'text',
'value': 'permit'
},
'RULE': {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'weight'
},
'op': {
'type': 'text',
'value': 'contains'
}
}
})
sw_189 = pipe_regex(context,
sw_148,
conf={
'RULE': {
'field': {
'type': 'text',
'value': 'title'
},
'match': {
'type': 'text',
'value': '(.+)'
},
'replace': {
'type': 'text',
'value': '[Weight] $1'
}
}
})
sw_170 = pipe_union(context,
forever,
_OTHER3=sw_204,
conf=None,
_OTHER=sw_189)
_OUTPUT = pipe_output(context, sw_170, conf=None)
return _OUTPUT
def pipe_8NMkiTW32xGvMbDKruymrA(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort']
forever = pipe_forever()
sw_35 = pipe_fetch(
context,
forever,
conf={
'URL': [{
'type':
'url',
'value':
'file://data/www.fourtitude.com_news_publish_rss.xml'
}, {
'type': 'url',
'value': 'file://data/feeds.gawker.com_jalopnik_full.xml'
}, {
'type': 'url',
'value': 'file://data/www.autoblog.com_rss.xml'
}]
})
sw_54 = pipe_filter(context,
sw_35,
conf={
'COMBINE': {
'type': 'text',
'value': 'or'
},
'MODE': {
'type': 'text',
'value': 'permit'
},
'RULE': [{
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Porsche'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Mercedes'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'BMW'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Audi'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'VW'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Lamborghini'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Ferrari'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Pagani'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Aston'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'Lotus'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'TVR'
},
'op': {
'type': 'text',
'value': 'contains'
}
}, {
'field': {
'type': 'text',
'value': 'description'
},
'value': {
'type': 'text',
'value': 'AMG'
},
'op': {
'type': 'text',
'value': 'contains'
}
}]
})
sw_105 = pipe_sort(context,
sw_54,
conf={
'KEY': [{
'field': {
'type': 'text',
'value': 'pubDate'
},
'dir': {
'type': 'text',
'value': 'DESC'
}
}]
})
_OUTPUT = pipe_output(context, sw_105, conf={})
return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [
u"pipefetch",
u"pipefilter",
u"pipeoutput",
u"piperegex",
u"piperename",
u"pipesort",
u"pipeunion",
u"pipeuniq",
]
forever = pipe_forever()
sw_135 = pipe_fetch(
context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Topthemen.xml"}}
)
sw_233 = pipe_fetch(
context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Politik.xml"}}
)
sw_154 = pipe_union(context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135)
sw_173 = pipe_uniq(context, sw_154, conf={"field": {"type": "text", "value": "title"}})
sw_180 = pipe_filter(
context,
sw_173,
conf={
"COMBINE": {"type": "text", "value": "or"},
"MODE": {"type": "text", "value": "block"},
"RULE": [
{
"field": {"type": "text", "value": "link"},
"value": {"type": "text", "value": "/sport/"},
"op": {"type": "text", "value": "contains"},
},
{
"field": {"type": "text", "value": "title"},
"value": {"type": "text", "value": "Bildstrecke:"},
"op": {"type": "text", "value": "contains"},
},
],
},
)
sw_210 = pipe_rename(
context,
sw_180,
conf={
"RULE": [
{
"field": {"type": "text", "value": "y:id.value"},
"op": {"type": "text", "value": "copy"},
"newval": {"type": "text", "value": "link"},
}
]
},
)
sw_195 = pipe_regex(
context,
sw_210,
conf={
"RULE": [
{
"singlelinematch": {"type": "text", "value": "2"},
"globalmatch": {"type": "text", "value": "1"},
"replace": {"type": "text", "value": ""},
"field": {"type": "text", "value": "description"},
"casematch": {"type": "text", "value": "8"},
"match": {"type": "text", "value": "</div>.*$"},
},
{
"field": {"type": "text", "value": "link"},
"match": {"type": "text", "value": "^(.*\\/.*)\\/"},
"replace": {"type": "text", "value": "$1/2.220/"},
},
]
},
)
sw_191 = pipe_sort(
context,
sw_195,
conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]},
)
_OUTPUT = pipe_output(context, sw_191, conf={})
return _OUTPUT
