def pipe_188eca77fd28c96c559f71f5729d91ec(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchpage', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'pipetruncate'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_119(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetchpage( context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'url'}, 'to': {'type': 'text', 'value': '</tr>'}, 'token': {'type': 'text', 'value': '<td style="TEXT-ALIGN: center">'}, 'from': {'type': 'text', 'value': 'One Way</span>'}}) sw_163 = pipe_itembuilder( context, forever, conf={'attrs': {'value': {'type': 'text', 'value': 'file://data/www.caltrain.com_Fares_farechart.html'}, 'key': {'type': 'text', 'value': 'url'}}}) sw_111 = pipe_loop( context, sw_163, embed=pipe_sw_119, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:fetchpage'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'fetchpage', 'id': 'sw-119', 'conf': {'URL': {'type': 'url', 'subkey': 'url'}, 'to': {'type': 'text', 'value': '</tr>'}, 'token': {'type': 'text', 'value': '<td style="TEXT-ALIGN: center">'}, 'from': {'type': 'text', 'value': 'One Way</span>'}}}}, 'with': {'type': 'text', 'value': ''}}) sw_287 = pipe_truncate( context, sw_111, conf={'count': {'type': 'number', 'value': '100'}}) _OUTPUT = pipe_output( context, sw_287, conf=None) return _OUTPUT
def pipe_bd0834cfe6cdacb0bea5569505d330b8(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'gid', u'MP Guardian ID', u'text', u'1276')] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder'] forever = pipe_forever() sw_606 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': '1276'}, 'prompt': {'type': 'text', 'value': 'MP Guardian ID'}, 'name': {'type': 'text', 'value': 'gid'}, 'position': {'type': 'number', 'value': ''}}) sw_579 = pipe_urlbuilder( context, forever, _1_PATH=sw_606, conf={'PATH': [{'terminal': '1_PATH', 'type': 'text'}, {'type': 'text', 'value': 'json'}], 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]}) sw_610 = pipe_fetchdata( context, forever, URL=sw_579, conf={'URL': {'terminal': 'URL', 'type': 'url'}, 'path': {'type': 'text', 'value': 'person'}}) _OUTPUT = pipe_output( context, sw_610, conf={}) return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'numberinput1', u'How many items do you want in the feed?', u'number', u'5')] if context and context.describe_dependencies: return [u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort', u'pipetail'] forever = pipe_forever() sw_123 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/news.yahoo.com_rss_topstories.xml'}}) sw_135 = pipe_sort( context, sw_123, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'DESC'}}]}) sw_131 = pipe_numberinput( context, forever, conf={'debug': {'type': 'number', 'value': ''}, 'default': {'type': 'number', 'value': '5'}, 'prompt': {'type': 'text', 'value': 'How many items do you want in the feed?'}, 'name': {'type': 'text', 'value': 'numberinput1'}, 'position': {'type': 'number', 'value': ''}}) sw_106 = pipe_tail( context, sw_135, count=sw_131, conf={'count': {'terminal': 'count', 'type': 'number'}}) _OUTPUT = pipe_output( context, sw_106, conf={}) return _OUTPUT
def pipe_zKJifuNS3BGLRQK_GsevXg(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipesimplemath', u'pipesplit', u'pipetruncate'] forever = pipe_forever() sw_224 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/www.sciencedaily.com_rss_computers_math.html'}}) sw_250 = pipe_split( context, sw_224, splits=2, conf=None) sw_243 = pipe_count( context, sw_250, conf=None) sw_94 = pipe_simplemath( context, sw_243, conf={'OTHER': {'type': 'number', 'value': '5'}, 'OP': {'type': 'text', 'value': 'modulo'}}) sw_169 = pipe_simplemath( context, sw_243, OTHER=sw_94, conf={'OTHER': {'terminal': 'OTHER', 'type': 'number'}, 'OP': {'type': 'text', 'value': 'subtract'}}) sw_232 = pipe_truncate( context, sw_250, count=sw_169, conf={'count': {'terminal': 'count', 'type': 'number'}}) _OUTPUT = pipe_output( context, sw_232, conf=None) return _OUTPUT
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipeurlbuilder'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_urlbuilder( context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]}) sw_565 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': ''}}) sw_626 = pipe_loop( context, sw_565, embed=pipe_sw_634, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'media:content.url'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'urlbuilder', 'id': 'sw-634', 'conf': {'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_592 = pipe_rename( context, sw_626, conf={'RULE': [{'field': {'type': 'text', 'value': 'media:content.url'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]}) sw_636 = pipe_regex( context, sw_592, conf={'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '<img src="$1" alt="QRcode" /><br/>${title}'}}]}) _OUTPUT = pipe_output( context, sw_636, conf={}) return _OUTPUT
def pipe_1LNyRuNS3BGdkTKaAsqenA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'textinput1', u'Stock Symbol:', u'text', u'yhoo'), (u'', u'textinput2', u'Search Term:', u'text', u'')] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder'] forever = pipe_forever() sw_131 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': ''}, 'prompt': {'type': 'text', 'value': 'Search Term:'}, 'name': {'type': 'text', 'value': 'textinput2'}, 'position': {'type': 'number', 'value': ''}}) sw_116 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': 'yhoo'}, 'default': {'type': 'text', 'value': 'yhoo'}, 'prompt': {'type': 'text', 'value': 'Stock Symbol:'}, 'name': {'type': 'text', 'value': 'textinput1'}, 'position': {'type': 'number', 'value': ''}}) sw_85 = pipe_urlbuilder( context, forever, PARAM_1_value=sw_116, conf={'PATH': {'type': 'text', 'value': 'headline'}, 'BASE': {'type': 'text', 'value': 'http://finance.yahoo.com/rss'}, 'PARAM': [{'value': {'terminal': 'PARAM_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 's'}}]}) sw_108 = pipe_fetch( context, forever, _1_URL=sw_85, conf={'URL': {'terminal': '1_URL', 'type': 'url'}}) sw_120 = pipe_filter( context, sw_108, RULE_1_value=sw_131, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]}) _OUTPUT = pipe_output( context, sw_120, conf={}) return _OUTPUT
def pipe_8NMkiTW32xGvMbDKruymrA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort'] forever = pipe_forever() sw_35 = pipe_fetch( context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/www.fourtitude.com_news_publish_rss.xml'}, {'type': 'url', 'value': 'file://data/feeds.gawker.com_jalopnik_full.xml'}, {'type': 'url', 'value': 'file://data/www.autoblog.com_rss.xml'}]}) sw_54 = pipe_filter( context, sw_35, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Porsche'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Mercedes'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'BMW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Audi'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'VW'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lamborghini'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Ferrari'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Pagani'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Aston'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'Lotus'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'TVR'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'AMG'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_105 = pipe_sort( context, sw_54, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]}) _OUTPUT = pipe_output( context, sw_105, conf={}) return _OUTPUT
def pipe_2de0e4517ed76082dcddf66f7b218057(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipeoutput'] forever = pipe_forever() sw_478 = pipe_fetch(context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/feeds.feedburner.com_ouseful.xml' } }) _OUTPUT = pipe_output(context, sw_478, conf={}) return _OUTPUT
def pipe_a08134746e30a6dd3a7cb3c0cf098692(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipecreaterss', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat', u'pipexpathfetchpage'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_515(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_strconcat( context, forever, conf={'part': [{'type': 'text', 'value': '<img src="'}, {'type': 'text', 'subkey': 'img.src'}, {'type': 'text', 'value': '">'}]}) sw_327 = pipe_xpathfetchpage( context, forever, conf={'URL': {'type': 'url', 'value': 'http://pinterest.com/popular/'}, 'xpath': {'type': 'text', 'value': "//a[@class='PinImage ImgLink']"}}) sw_507 = pipe_loop( context, sw_327, embed=pipe_sw_515, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'description'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-515', 'conf': {'part': [{'type': 'text', 'value': '<img src="'}, {'type': 'text', 'subkey': 'img.src'}, {'type': 'text', 'value': '">'}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_303 = pipe_rename( context, sw_507, conf={'RULE': {'field': {'type': 'text', 'value': 'href'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'link'}}}) sw_443 = pipe_createrss( context, sw_303, conf={'mediaContentHeight': {'type': 'text', 'value': ''}, 'mediaThumbURL': {'type': 'text', 'value': ''}, 'mediaContentType': {'type': 'text', 'value': ''}, 'description': {'type': 'text', 'value': ''}, 'pubdate': {'type': 'text', 'value': ''}, 'author': {'type': 'text', 'value': ''}, 'title': {'type': 'text', 'value': 'img.alt'}, 'mediaThumbHeight': {'type': 'text', 'value': ''}, 'link': {'type': 'text', 'value': ''}, 'mediaContentWidth': {'type': 'text', 'value': ''}, 'mediaContentURL': {'type': 'text', 'value': 'img.src'}, 'guid': {'type': 'text', 'value': ''}, 'mediaThumbWidth': {'type': 'text', 'value': ''}}) sw_261 = pipe_output( context, sw_443, conf=None) return sw_261
def pipe_b96287458de001ad62a637095df33ad5(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipeitembuilder', u'pipeoutput', u'pipestrconcat', u'pipeunion'] forever = pipe_forever() sw_632 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'VAL1'}, 'key': {'type': 'text', 'value': 'ATTR1'}}, {'value': {'type': 'text', 'value': 'VAL2'}, 'key': {'type': 'text', 'value': 'attrpath.attr2'}}]}) sw_605 = pipe_strconcat( context, forever, conf={'part': {'type': 'text', 'value': 'extVal'}}) sw_551 = pipe_itembuilder( context, forever, attrs_3_value=sw_605, conf={'attrs': [{'value': {'type': 'text', 'value': 'val1'}, 'key': {'type': 'text', 'value': 'attr1'}}, {'value': {'type': 'text', 'value': 'val2'}, 'key': {'type': 'text', 'value': 'attrpath.attr2'}}, {'value': {'terminal': 'attrs_3_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'attrpath.attr3'}}, {'value': {'type': 'text', 'value': 'val3'}, 'key': {'type': 'text', 'value': 'longpath.attrpath.attr3'}}]}) sw_613 = pipe_union( context, sw_551, _OTHER1=sw_632, conf={}) _OUTPUT = pipe_output( context, sw_613, conf={}) return _OUTPUT
def pipe_e519dd393f943315f7e4128d19db2eac(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'q', u'Search term:', u'text', u'enterprise mashup')] if context and context.describe_dependencies: return [u'pipefetch', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder'] forever = pipe_forever() sw_552 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'enterprise mashup'}, 'prompt': {'type': 'text', 'value': 'Search term:'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}}) sw_492 = pipe_urlbuilder( context, forever, PARAM_5_value=sw_552, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'http://news.google.com/news'}, 'PARAM': [{'value': {'type': 'text', 'value': '1'}, 'key': {'type': 'text', 'value': 'pz'}}, {'value': {'type': 'text', 'value': 'all'}, 'key': {'type': 'text', 'value': 'cf'}}, {'value': {'type': 'text', 'value': 'uk'}, 'key': {'type': 'text', 'value': 'ned'}}, {'value': {'type': 'text', 'value': 'en'}, 'key': {'type': 'text', 'value': 'hl'}}, {'value': {'terminal': 'PARAM_5_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': 'rss'}, 'key': {'type': 'text', 'value': 'output'}}]}) sw_481 = pipe_fetch( context, forever, _1_URL=sw_492, conf={'URL': {'terminal': '1_URL', 'type': 'url'}}) _OUTPUT = pipe_output( context, sw_481, conf={}) return _OUTPUT
def pipe_HrX5bjkv3BGEp9eSy6ky6g(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefeedautodiscovery', u'pipefetch', u'pipeloop', u'pipeoutput', u'pipesort', u'pipetruncate'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_165(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetch( context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'link'}}) sw_149 = pipe_feedautodiscovery( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/edition.cnn.html'}}) sw_157 = pipe_loop( context, sw_149, embed=pipe_sw_165, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:fetch'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'fetch', 'id': 'sw-165', 'conf': {'URL': {'type': 'url', 'subkey': 'link'}}}}, 'with': {'type': 'text', 'value': ''}}) sw_174 = pipe_sort( context, sw_157, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'ASC'}}]}) sw_191 = pipe_truncate( context, sw_174, conf={'count': {'type': 'number', 'value': '25'}}) _OUTPUT = pipe_output( context, sw_191, conf={}) return _OUTPUT
def pipe_dAI_R_FS3BG6fTKsAsqenA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_298(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_strconcat( context, _INPUT, conf={'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]}) sw_286 = pipe_fetchdata( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/capnorth.oes.ca.gov_89509.xml'}, 'path': {'type': 'text', 'value': 'info'}}) sw_138 = pipe_loop( context, sw_286, embed=pipe_sw_298, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'title'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-298', 'conf': {'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_180 = pipe_rename( context, sw_138, conf={'RULE': [{'field': {'type': 'text', 'value': 'expires'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'pubDate'}}]}) _OUTPUT = pipe_output( context, sw_180, conf={}) return _OUTPUT
def pipe_402e244d09a4146cd80421c6628eb6d9(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename'] forever = pipe_forever() sw_572 = pipe_fetchdata( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml'}, 'path': {'type': 'text', 'value': 'episode'}}) sw_587 = pipe_rename( context, sw_572, conf={'RULE': [{'field': {'type': 'text', 'value': 'programme.title'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}, {'field': {'type': 'text', 'value': 'programme.pid'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}, {'field': {'type': 'text', 'value': 'programme.short_synopsis'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]}) sw_598 = pipe_regex( context, sw_587, conf={'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': 'http://www.bbc.co.uk/programmes/$1'}}]}) _OUTPUT = pipe_output( context, sw_598, conf={}) return _OUTPUT
def pipe_404411a8d22104920f3fc1f428f33642(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipetruncate'] forever = pipe_forever() sw_502 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=15.xml'}}) sw_561 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=3.xml'}}) sw_569 = pipe_count( context, sw_561, conf={}) sw_583 = pipe_truncate( context, sw_502, count=sw_569, conf={'count': {'terminal': 'count', 'type': 'number'}}) _OUTPUT = pipe_output( context, sw_583, conf={}) return _OUTPUT
def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'q', u'Caption search term', u'text', u'maverick'), (u'', u'url', u'Caption URL', u'url', u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml')] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipetextinput', u'pipeurlinput'] forever = pipe_forever() sw_521 = pipe_urlinput( context, forever, conf={'debug': {'type': 'url', 'value': ''}, 'default': {'type': 'url', 'value': 'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'}, 'prompt': {'type': 'text', 'value': 'Caption URL'}, 'name': {'type': 'text', 'value': 'url'}, 'position': {'type': 'number', 'value': ''}}) sw_572 = pipe_fetchdata( context, forever, URL=sw_521, conf={'URL': {'terminal': 'URL', 'type': 'url'}, 'path': {'type': 'text', 'value': 'body.div.p'}}) sw_621 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'maverick'}, 'prompt': {'type': 'text', 'value': 'Caption search term'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}}) sw_584 = pipe_filter( context, sw_572, RULE_1_value=sw_621, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_595 = pipe_rename( context, sw_584, conf={'RULE': [{'field': {'type': 'text', 'value': 'begin'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'ctime'}}, {'field': {'type': 'text', 'value': 'content'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}]}) sw_606 = pipe_regex( context, sw_595, conf={'RULE': [{'field': {'type': 'text', 'value': 'ctime'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '&time=$1'}}]}) _OUTPUT = pipe_output( context, sw_606, conf={}) return _OUTPUT
def pipe_551507461cbcb19a828165daad5fe007(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'urlinput1', u'Enter a URL', u'url', u'file://data/www.bbc.co.uk_news.html')] if context and context.describe_dependencies: return [u'pipefetchsitefeed', u'pipeoutput', u'pipetruncate', u'pipeurlinput'] forever = pipe_forever() sw_242 = pipe_urlinput( context, forever, conf={'debug': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_news.html'}, 'default': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_news.html'}, 'prompt': {'type': 'text', 'value': 'Enter a URL'}, 'name': {'type': 'text', 'value': 'urlinput1'}, 'position': {'type': 'number', 'value': ''}}) sw_234 = pipe_fetchsitefeed( context, forever, _1_URL=sw_242, conf={'URL': {'terminal': '1_URL', 'type': 'url'}}) sw_246 = pipe_truncate( context, sw_234, conf={'count': {'type': 'number', 'value': '5'}}) _OUTPUT = pipe_output( context, sw_246, conf={}) return _OUTPUT
def pipe_404411a8d22104920f3fc1f428f33642(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipecount', u'pipefetch', u'pipeoutput', u'pipetruncate'] forever = pipe_forever() sw_502 = pipe_fetch( context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=15.xml' } }) sw_561 = pipe_fetch( context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/feeds.delicious.com_v2_rss_popular?count=3.xml' } }) sw_569 = pipe_count(context, sw_561, conf={}) sw_583 = pipe_truncate( context, sw_502, count=sw_569, conf={'count': { 'terminal': 'count', 'type': 'number' }}) _OUTPUT = pipe_output(context, sw_583, conf={}) return _OUTPUT
def pipe_1166de33b0ea6936d96808717355beaa(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperssitembuilder', u'pipeunion'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_710(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder( context, _INPUT, conf={'attrs': [{'value': {'type': 'text', 'subkey': 'newtitle'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESCRIPTION'}, 'key': {'type': 'text', 'value': 'description.content'}}]}) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_696(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder( context, _INPUT, conf={'attrs': [{'value': {'type': 'text', 'value': 'NEWTITLE'}, 'key': {'type': 'text', 'value': 'newtitle'}}, {'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'title'}}]}) sw_674 = pipe_rssitembuilder( context, forever, conf={'mediaContentHeight': {'type': 'text', 'value': ''}, 'mediaThumbURL': {'type': 'text', 'value': 'http://example.com/a.jpg'}, 'mediaContentType': {'type': 'text', 'value': ''}, 'description': {'type': 'text', 'value': 'b'}, 'pubdate': {'type': 'text', 'value': ''}, 'author': {'type': 'text', 'value': ''}, 'title': {'type': 'text', 'value': 'a'}, 'mediaThumbHeight': {'type': 'text', 'value': ''}, 'link': {'type': 'text', 'value': 'http://example.com/test.php?this=that'}, 'mediaContentWidth': {'type': 'text', 'value': ''}, 'mediaContentURL': {'type': 'text', 'value': ''}, 'guid': {'type': 'text', 'value': ''}, 'mediaThumbWidth': {'type': 'text', 'value': ''}}) sw_554 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'TITLE1'}, 'key': {'type': 'text', 'value': 'title'}}]}) sw_569 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'TITLE2'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESC'}, 'key': {'type': 'text', 'value': 'description'}}, {'value': {'type': 'text', 'value': 'GONE'}, 'key': {'type': 'text', 'value': 'lostattribute'}}]}) sw_637 = pipe_union( context, sw_554, _OTHER2=sw_569, conf={}) sw_656 = pipe_loop( context, sw_637, embed=pipe_sw_696, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:itembuilder'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'itembuilder', 'id': 'sw-696', 'conf': {'attrs': [{'value': {'type': 'text', 'value': 'NEWTITLE'}, 'key': {'type': 'text', 'value': 'newtitle'}}, {'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'title'}}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_688 = pipe_loop( context, sw_656, embed=pipe_sw_710, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:itembuilder'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'itembuilder', 'id': 'sw-710', 'conf': {'attrs': [{'value': {'type': 'text', 'subkey': 'newtitle'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESCRIPTION'}, 'key': {'type': 'text', 'value': 'description.content'}}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_730 = pipe_union( context, sw_674, _OTHER2=sw_688, conf={}) _OUTPUT = pipe_output( context, sw_730, conf={}) return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] forever = pipe_forever() sw_68 = pipe_fetch( context, forever, conf={ "URL": [ {"type": "url", "value": "http://www.guru.com/rss/jobs/c/web-software-it/"}, { "type": "url", "value": "https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort", }, ] }, ) sw_90 = pipe_uniq(context, sw_68, conf={"field": {"type": "text", "value": "link"}}) sw_87 = pipe_filter( context, sw_90, conf={ "COMBINE": {"type": "text", "value": "or"}, "MODE": {"type": "text", "value": "block"}, "RULE": [ { "field": {"type": "text", "value": "title"}, "value": {"type": "text", "value": "php"}, "op": {"type": "text", "value": "contains"}, } ], }, ) sw_101 = pipe_sort( context, sw_87, conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]}, ) _OUTPUT = pipe_output(context, sw_101, conf={}) return _OUTPUT
def pipe_UuvYtuMe3hGDsmRgPm7D0g(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'name', u'Name', u'text', u'Lancaster')] if context and context.describe_dependencies: return [u'pipecsv', u'pipefilter', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat', u'pipetextinput'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_581(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_strconcat( context, _INPUT, conf={'part': [{'type': 'text', 'subkey': 'firstName'}, {'type': 'text', 'value': ' '}, {'type': 'text', 'subkey': 'Member'}]}) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_408(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_strconcat( context, _INPUT, conf={'part': [{'type': 'text', 'value': 'Total allowances claimed, inc travel: '}, {'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: '}, {'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': '<br>Total Travel claimed: '}, {'type': 'text', 'subkey': 'TotalTravelClaimed'}, {'type': 'text', 'value': '<br>MP Mileage: '}, {'type': 'text', 'subkey': 'Mileage'}, {'type': 'text', 'value': '<br>MP Rail Travel: '}, {'type': 'text', 'subkey': 'MPRail'}, {'type': 'text', 'value': '<br>MP Air Travel: '}, {'type': 'text', 'subkey': 'MPAir'}, {'type': 'text', 'value': '<br>Cost of staying away from main home: '}, {'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': '<br>London Supplement: '}, {'type': 'text', 'subkey': 'LondonSupplement'}, {'type': 'text', 'value': '<br>Office Running Costs: '}, {'type': 'text', 'subkey': 'OfficeRunningCosts'}, {'type': 'text', 'value': '<br>Staffing Costs: '}, {'type': 'text', 'subkey': 'StaffingCosts'}]}) sw_371 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'Lancaster'}, 'prompt': {'type': 'text', 'value': 'Name'}, 'name': {'type': 'text', 'value': 'name'}, 'position': {'type': 'number', 'value': ''}}) sw_340 = pipe_csv( context, forever, conf={'other_sep': {'type': 'text', 'value': ''}, 'URL': {'type': 'url', 'value': 'file://data/spreadsheets.google.com_pub?key=p1rHUqg4g420UMaN1sPvaRg&output=csv&range=a1_AB646.csv'}, 'skip': {'type': 'number', 'value': '0'}, 'col_name': [{'type': 'text', 'value': 'Member'}, {'type': 'text', 'value': 'firstName'}, {'type': 'text', 'value': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': 'TotalTravelClaimed'}, {'type': 'text', 'value': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': 'LondonSupplement'}, {'type': 'text', 'value': 'OfficeRunningCosts'}, {'type': 'text', 'value': 'StaffingCosts'}, {'type': 'text', 'value': 'CentrallyPurchasedStationery'}, {'type': 'text', 'value': 'StationeryAssocdPostageCosts'}, {'type': 'text', 'value': 'CentralITProvision'}, {'type': 'text', 'value': 'StaffCoverAndOtherCosts'}, {'type': 'text', 'value': 'CommsAllowance'}, {'type': 'text', 'value': 'Mileage'}, {'type': 'text', 'value': 'MPRail'}, {'type': 'text', 'value': 'MPAir'}, {'type': 'text', 'value': 'MPMisc'}, {'type': 'text', 'value': 'MPOtherMileage'}, {'type': 'text', 'value': 'MPOtherRail'}, {'type': 'text', 'value': 'MPOtherAir'}, {'type': 'text', 'value': 'MPOtherEuropean'}, {'type': 'text', 'value': 'SpouseTotal'}, {'type': 'text', 'value': 'SpouseNumOfJourneys'}, {'type': 'text', 'value': 'FamilyTotal'}, {'type': 'text', 'value': 'FamilyNumOfJourneys'}, {'type': 'text', 'value': 'EmployeeTotal'}, {'type': 'text', 'value': 'EmployeeNumOfJourneys'}], 'col_row_start': {'type': 'number', 'value': '1'}, 'col_mode': {'type': 'text', 'value': 'custom'}, 'separator': {'type': 'text', 'value': ','}, 'col_row_end': {'type': 'number', 'value': '1'}}) sw_375 = pipe_filter( context, sw_340, RULE_1_value=sw_371, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'Member'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_385 = pipe_rename( context, sw_375, conf={'RULE': [{'field': {'type': 'text', 'value': 'Member'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}]}) sw_400 = pipe_loop( context, sw_385, embed=pipe_sw_408, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'description'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-408', 'conf': {'part': [{'type': 'text', 'value': 'Total allowances claimed, inc travel: '}, {'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: '}, {'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': '<br>Total Travel claimed: '}, {'type': 'text', 'subkey': 'TotalTravelClaimed'}, {'type': 'text', 'value': '<br>MP Mileage: '}, {'type': 'text', 'subkey': 'Mileage'}, {'type': 'text', 'value': '<br>MP Rail Travel: '}, {'type': 'text', 'subkey': 'MPRail'}, {'type': 'text', 'value': '<br>MP Air Travel: '}, {'type': 'text', 'subkey': 'MPAir'}, {'type': 'text', 'value': '<br>Cost of staying away from main home: '}, {'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': '<br>London Supplement: '}, {'type': 'text', 'subkey': 'LondonSupplement'}, {'type': 'text', 'value': '<br>Office Running Costs: '}, {'type': 'text', 'subkey': 'OfficeRunningCosts'}, {'type': 'text', 'value': '<br>Staffing Costs: '}, {'type': 'text', 'subkey': 'StaffingCosts'}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_573 = pipe_loop( context, sw_400, embed=pipe_sw_581, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'title'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-581', 'conf': {'part': [{'type': 'text', 'subkey': 'firstName'}, {'type': 'text', 'value': ' '}, {'type': 'text', 'subkey': 'Member'}]}}}, 'with': {'type': 'text', 'value': ''}}) _OUTPUT = pipe_output( context, sw_573, conf={}) return _OUTPUT
def pipe_9420a757a49ddf11d8b98349abb5bcf4(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchpage', u'pipeoutput', u'pipetruncate'] forever = pipe_forever() sw_266 = pipe_fetchpage( context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/www.caltrain.com_Fares_farechart.html' }, 'to': { 'type': 'text', 'value': '</tr>' }, 'token': { 'type': 'text', 'value': '<td style="TEXT-ALIGN: center">' }, 'from': { 'type': 'text', 'value': 'One Way</span>' } }) sw_287 = pipe_truncate(context, sw_266, conf={'count': { 'type': 'number', 'value': '100' }}) _OUTPUT = pipe_output(context, sw_287, conf=None) return _OUTPUT
def pipe_testpipe1(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and (context.describe_input or context.describe_dependencies): return [] forever = pipe_forever() sw_90 = pipe_fetch( context, forever, conf={'URL': { 'type': 'url', 'value': 'file://data/feed.xml' }}) sw_102 = pipe_filter(context, sw_90, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'the' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) _OUTPUT = pipe_output(context, sw_102, conf=[]) return _OUTPUT
def pipe_125e9fe8bb5f84526d21bebfec3ad116(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'textinput1', u'Enter Text', u'text', u'Guten Tag')] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperename', u'pipetextinput', u'pipeurlbuilder'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_72(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_urlbuilder( context, _INPUT, conf={'BASE': {'type': 'text', 'value': 'http://ajax.googleapis.com/ajax/services/language/detect'}, 'PARAM': [{'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': '1.0'}, 'key': {'type': 'text', 'value': 'v'}}]}) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetchdata( context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'language-url'}, 'path': {'type': 'text', 'value': 'responseData.language'}}) sw_479 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'Guten Tag'}, 'prompt': {'type': 'text', 'value': 'Enter Text'}, 'name': {'type': 'text', 'value': 'textinput1'}, 'position': {'type': 'number', 'value': ''}}) sw_467 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'terminal': 'attrs_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'title'}}]}, attrs_1_value=sw_479) sw_61 = pipe_loop( context, sw_467, embed=pipe_sw_72, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'language-url'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'urlbuilder', 'id': 'sw-72', 'conf': {'BASE': {'type': 'text', 'value': 'http://ajax.googleapis.com/ajax/services/language/detect'}, 'PARAM': [{'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': '1.0'}, 'key': {'type': 'text', 'value': 'v'}}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_142 = pipe_loop( context, sw_61, embed=pipe_sw_150, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'language'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'fetchdata', 'id': 'sw-150', 'conf': {'URL': {'type': 'url', 'subkey': 'language-url'}, 'path': {'type': 'text', 'value': 'responseData.language'}}}}, 'with': {'type': 'text', 'value': ''}}) sw_351 = pipe_rename( context, sw_142, conf={'RULE': [{'field': {'type': 'text', 'value': 'language.0.content'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]}) _OUTPUT = pipe_output( context, sw_351, conf={}) return _OUTPUT
def pipe_testpipe1(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and (context.describe_input or context.describe_dependencies): return [] forever = pipe_forever() sw_90 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feed.xml'}}) sw_102 = pipe_filter( context, sw_90, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'value': {'type': 'text', 'value': 'the'}, 'op': {'type': 'text', 'value': 'contains'}}]}) _OUTPUT = pipe_output(context, sw_102, conf=[]) return _OUTPUT
def pipe_975789b47f17690a21e89b10a702bcbd(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'q', u'Status update', u'text', u"Here's #: some #hashtags to play #with")] if context and context.describe_dependencies: return [u'pipefilter', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipestringtokenizer', u'pipetextinput'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_478(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_stringtokenizer( context, _INPUT, conf={'to-str': {'type': 'text', 'value': ' '}}) sw_417 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': "Here's #: some #hashtags to play #with"}, 'prompt': {'type': 'text', 'value': 'Status update'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}}) sw_424 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'terminal': 'attrs_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'title'}}]}, attrs_1_value=sw_417) sw_436 = pipe_filter( context, sw_424, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': '#'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_447 = pipe_regex( context, sw_436, conf={'RULE': [{'field': {'type': 'text', 'value': 'title'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'match': {'type': 'text', 'value': ' [^#]*'}, 'replace': {'type': 'text', 'value': ' '}}, {'field': {'type': 'text', 'value': 'title'}, 'match': {'type': 'text', 'value': '^[^#]*'}, 'replace': {'type': 'text', 'value': ''}}]}) sw_470 = pipe_loop( context, sw_447, embed=pipe_sw_478, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:stringtokenizer'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'stringtokenizer', 'id': 'sw-478', 'conf': {'to-str': {'type': 'text', 'value': ' '}}}}, 'with': {'type': 'text', 'value': 'title'}}) sw_490 = pipe_filter( context, sw_470, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'value': {'type': 'text', 'value': '#[\\w]'}, 'op': {'type': 'text', 'value': 'matches'}}]}) sw_501 = pipe_rename( context, sw_490, conf={'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'title'}}]}) _OUTPUT = pipe_output( context, sw_501, conf={}) return _OUTPUT
def pipe_2de0e4517ed76082dcddf66f7b218057(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipeoutput'] forever = pipe_forever() sw_478 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/feeds.feedburner.com_ouseful.xml'}}) _OUTPUT = pipe_output( context, sw_478, conf={}) return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipesort', u'pipeunion', u'pipeuniq'] forever = pipe_forever() sw_135 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Topthemen.xml'}}) sw_233 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Politik.xml'}}) sw_154 = pipe_union( context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135) sw_173 = pipe_uniq( context, sw_154, conf={'field': {'type': 'text', 'value': 'title'}}) sw_180 = pipe_filter( context, sw_173, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'block'}, 'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'value': {'type': 'text', 'value': '/sport/'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': 'Bildstrecke:'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_210 = pipe_rename( context, sw_180, conf={'RULE': [{'field': {'type': 'text', 'value': 'y:id.value'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}]}) sw_195 = pipe_regex( context, sw_210, conf={'RULE': [{'singlelinematch': {'type': 'text', 'value': '2'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'replace': {'type': 'text', 'value': ''}, 'field': {'type': 'text', 'value': 'description'}, 'casematch': {'type': 'text', 'value': '8'}, 'match': {'type': 'text', 'value': '</div>.*$'}}, {'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '^(.*\\/.*)\\/'}, 'replace': {'type': 'text', 'value': '$1/2.220/'}}]}) sw_191 = pipe_sort( context, sw_195, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]}) _OUTPUT = pipe_output( context, sw_191, conf={}) return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder'] forever = pipe_forever() sw_550 = pipe_fetch( context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml'}, {'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml'}]}) sw_606 = pipe_urlbuilder( context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml'}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]}) sw_572 = pipe_fetch( context, forever, _1_URL=sw_606, conf={'URL': {'terminal': '1_URL', 'type': 'url'}}) sw_580 = pipe_union( context, sw_550, _OTHER=sw_572, conf={}) sw_565 = pipe_sort( context, sw_580, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'ASC'}}]}) sw_596 = pipe_truncate( context, sw_565, conf={'count': {'type': 'number', 'value': '3'}}) sw_625 = pipe_reverse( context, sw_596, conf={}) _OUTPUT = pipe_output( context, sw_625, conf={}) return _OUTPUT
def pipe_QMrlL_FS3BGlpwryODY80A(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u"pipefetch", u"pipefilter", u"pipeoutput", u"piperegex", u"pipesplit", u"pipeunion"] forever = pipe_forever() sw_140 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/news.yahoo.com_rss_health.xml"}} ) sw_108 = pipe_split(context, sw_140, splits=2, conf=None) sw_159 = pipe_filter( context, sw_108, conf={ "COMBINE": {"type": "text", "value": "and"}, "MODE": {"type": "text", "value": "permit"}, "RULE": { "field": {"type": "text", "value": "description"}, "value": {"type": "text", "value": "drug"}, "op": {"type": "text", "value": "contains"}, }, }, ) sw_204 = pipe_regex( context, sw_159, conf={ "RULE": { "field": {"type": "text", "value": "title"}, "match": {"type": "text", "value": "(.+)"}, "replace": {"type": "text", "value": "[Drugs] $1"}, } }, ) sw_148 = pipe_filter( context, sw_108, conf={ "COMBINE": {"type": "text", "value": "and"}, "MODE": {"type": "text", "value": "permit"}, "RULE": { "field": {"type": "text", "value": "description"}, "value": {"type": "text", "value": "weight"}, "op": {"type": "text", "value": "contains"}, }, }, ) sw_189 = pipe_regex( context, sw_148, conf={ "RULE": { "field": {"type": "text", "value": "title"}, "match": {"type": "text", "value": "(.+)"}, "replace": {"type": "text", "value": "[Weight] $1"}, } }, ) sw_170 = pipe_union(context, forever, _OTHER3=sw_204, conf=None, _OTHER=sw_189) _OUTPUT = pipe_output(context, sw_170, conf=None) return _OUTPUT
def pipe_zKJifuNS3BGLRQK_GsevXg(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipecount', u'pipefetch', u'pipeoutput', u'pipesimplemath', u'pipesplit', u'pipetruncate' ] forever = pipe_forever() sw_224 = pipe_fetch( context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/www.sciencedaily.com_rss_computers_math.html' } }) sw_250 = pipe_split(context, sw_224, splits=2, conf=None) sw_243 = pipe_count(context, sw_250, conf=None) sw_94 = pipe_simplemath(context, sw_243, conf={ 'OTHER': { 'type': 'number', 'value': '5' }, 'OP': { 'type': 'text', 'value': 'modulo' } }) sw_169 = pipe_simplemath(context, sw_243, OTHER=sw_94, conf={ 'OTHER': { 'terminal': 'OTHER', 'type': 'number' }, 'OP': { 'type': 'text', 'value': 'subtract' } }) sw_232 = pipe_truncate( context, sw_250, count=sw_169, conf={'count': { 'terminal': 'count', 'type': 'number' }}) _OUTPUT = pipe_output(context, sw_232, conf=None) return _OUTPUT
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipeurlbuilder' ] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_urlbuilder(context, forever, conf={ 'PATH': { 'type': 'text', 'value': '' }, 'BASE': { 'type': 'text', 'value': '' }, 'PARAM': [{ 'value': { 'type': 'text', 'value': 'qr' }, 'key': { 'type': 'text', 'value': 'cht' } }, { 'value': { 'type': 'text', 'value': '200x200' }, 'key': { 'type': 'text', 'value': 'chs' } }, { 'value': { 'type': 'text', 'subkey': 'link' }, 'key': { 'type': 'text', 'value': 'chl' } }] }) sw_565 = pipe_fetch(context, forever, conf={'URL': { 'type': 'url', 'value': '' }}) sw_626 = pipe_loop(context, sw_565, embed=pipe_sw_634, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'media:content.url' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'assign' }, 'embed': { 'type': 'module', 'value': { 'type': 'urlbuilder', 'id': 'sw-634', 'conf': { 'PATH': { 'type': 'text', 'value': '' }, 'BASE': { 'type': 'text', 'value': '' }, 'PARAM': [{ 'value': { 'type': 'text', 'value': 'qr' }, 'key': { 'type': 'text', 'value': 'cht' } }, { 'value': { 'type': 'text', 'value': '200x200' }, 'key': { 'type': 'text', 'value': 'chs' } }, { 'value': { 'type': 'text', 'subkey': 'link' }, 'key': { 'type': 'text', 'value': 'chl' } }] } } }, 'with': { 'type': 'text', 'value': '' } }) sw_592 = pipe_rename(context, sw_626, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'media:content.url' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'description' } }] }) sw_636 = pipe_regex( context, sw_592, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'description' }, 'match': { 'type': 'text', 'value': '(.*)' }, 'replace': { 'type': 'text', 'value': '<img src="$1" alt="QRcode" /><br/>${title}' } }] }) _OUTPUT = pipe_output(context, sw_636, conf={}) return _OUTPUT
def pipe_125e9fe8bb5f84526d21bebfec3ad116(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'textinput1', u'Enter Text', u'text', u'defunkt')] if context and context.describe_dependencies: return [ u'pipefetchdata', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperename', u'pipetextinput', u'pipeurlbuilder' ] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_72(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_urlbuilder(context, _INPUT, conf=conf) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetchdata(context, _INPUT, conf=conf) sw_479 = pipe_textinput(context, forever, conf={ 'debug': { 'type': 'text', 'value': 'defunkt' }, 'default': { 'type': 'text', 'value': 'defunkt' }, 'prompt': { 'type': 'text', 'value': 'Enter Text' }, 'name': { 'type': 'text', 'value': 'textinput1' }, 'position': { 'type': 'number', 'value': '' } }) sw_467 = pipe_itembuilder(context, forever, conf={ 'attrs': [{ 'value': { 'terminal': 'attrs_1_value', 'type': 'text' }, 'key': { 'type': 'text', 'value': 'title' } }] }, attrs_1_value=sw_479) sw_61 = pipe_loop(context, sw_467, embed=pipe_sw_72, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'api' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'assign' }, 'embed': { 'type': 'module', 'value': { 'type': 'urlbuilder', 'id': 'sw-72', 'conf': { 'BASE': { 'type': 'text', 'value': 'https://api.github.com/search/users' }, 'PARAM': [{ 'value': { 'type': 'text', 'subkey': 'title' }, 'key': { 'type': 'text', 'value': 'q' } }] } } }, 'with': { 'type': 'text', 'value': '' } }) sw_142 = pipe_loop(context, sw_61, embed=pipe_sw_150, conf={ 'assign_part': { 'type': 'text', 'value': 'first' }, 'assign_to': { 'type': 'text', 'value': 'info' }, 'mode': { 'type': 'text', 'value': 'assign' }, 'embed': { 'type': 'module', 'value': { 'type': 'fetchdata', 'id': 'sw-150', 'conf': { 'URL': { 'type': 'url', 'subkey': 'api' }, 'path': { 'type': 'text', 'value': 'items' } } } }, 'with': { 'type': 'text', 'value': '' } }) sw_351 = pipe_rename(context, sw_142, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'language.0.content' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'description' } }] }) _OUTPUT = pipe_output(context, sw_351, conf={}) return sw_142
def pipe_551507461cbcb19a828165daad5fe007(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'urlinput1', u'Enter a URL', u'url', u'file://data/www.bbc.co.uk_news.html')] if context and context.describe_dependencies: return [ u'pipefetchsitefeed', u'pipeoutput', u'pipetruncate', u'pipeurlinput' ] forever = pipe_forever() sw_242 = pipe_urlinput(context, forever, conf={ 'debug': { 'type': 'url', 'value': 'file://data/www.bbc.co.uk_news.html' }, 'default': { 'type': 'url', 'value': 'file://data/www.bbc.co.uk_news.html' }, 'prompt': { 'type': 'text', 'value': 'Enter a URL' }, 'name': { 'type': 'text', 'value': 'urlinput1' }, 'position': { 'type': 'number', 'value': '' } }) sw_234 = pipe_fetchsitefeed( context, forever, _1_URL=sw_242, conf={'URL': { 'terminal': '1_URL', 'type': 'url' }}) sw_246 = pipe_truncate(context, sw_234, conf={'count': { 'type': 'number', 'value': '5' }}) _OUTPUT = pipe_output(context, sw_246, conf={}) return _OUTPUT
def pipe_06c4c44316efb0f5f16e4e7fa4589ba2(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'numberinput1', u'How many items do you want in the feed?', u'number', u'5')] if context and context.describe_dependencies: return [ u'pipefetch', u'pipenumberinput', u'pipeoutput', u'pipesort', u'pipetail' ] forever = pipe_forever() sw_123 = pipe_fetch(context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/news.yahoo.com_rss_topstories.xml' } }) sw_135 = pipe_sort(context, sw_123, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'title' }, 'dir': { 'type': 'text', 'value': 'DESC' } }] }) sw_131 = pipe_numberinput(context, forever, conf={ 'debug': { 'type': 'number', 'value': '' }, 'default': { 'type': 'number', 'value': '5' }, 'prompt': { 'type': 'text', 'value': 'How many items do you want in the feed?' }, 'name': { 'type': 'text', 'value': 'numberinput1' }, 'position': { 'type': 'number', 'value': '' } }) sw_106 = pipe_tail(context, sw_135, count=sw_131, conf={'count': { 'terminal': 'count', 'type': 'number' }}) _OUTPUT = pipe_output(context, sw_106, conf={}) return _OUTPUT
def pipe_1LNyRuNS3BGdkTKaAsqenA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'textinput1', u'Stock Symbol:', u'text', u'yhoo'), (u'', u'textinput2', u'Search Term:', u'text', u'')] if context and context.describe_dependencies: return [ u'pipefetch', u'pipefilter', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder' ] forever = pipe_forever() sw_131 = pipe_textinput(context, forever, conf={ 'debug': { 'type': 'text', 'value': '' }, 'default': { 'type': 'text', 'value': '' }, 'prompt': { 'type': 'text', 'value': 'Search Term:' }, 'name': { 'type': 'text', 'value': 'textinput2' }, 'position': { 'type': 'number', 'value': '' } }) sw_116 = pipe_textinput(context, forever, conf={ 'debug': { 'type': 'text', 'value': 'yhoo' }, 'default': { 'type': 'text', 'value': 'yhoo' }, 'prompt': { 'type': 'text', 'value': 'Stock Symbol:' }, 'name': { 'type': 'text', 'value': 'textinput1' }, 'position': { 'type': 'number', 'value': '' } }) sw_85 = pipe_urlbuilder(context, forever, PARAM_1_value=sw_116, conf={ 'PATH': { 'type': 'text', 'value': 'headline' }, 'BASE': { 'type': 'text', 'value': 'http://finance.yahoo.com/rss' }, 'PARAM': [{ 'value': { 'terminal': 'PARAM_1_value', 'type': 'text' }, 'key': { 'type': 'text', 'value': 's' } }] }) sw_108 = pipe_fetch(context, forever, _1_URL=sw_85, conf={'URL': { 'terminal': '1_URL', 'type': 'url' }}) sw_120 = pipe_filter(context, sw_108, RULE_1_value=sw_131, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'terminal': 'RULE_1_value', 'type': 'text' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) _OUTPUT = pipe_output(context, sw_120, conf={}) return _OUTPUT
def pipe_926a27580e74684fc63559b92bddaa30(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] forever = pipe_forever() sw_68 = pipe_fetch( context, forever, conf={ 'URL': [{ 'type': 'url', 'value': 'http://www.guru.com/rss/jobs/c/web-software-it/' }, { 'type': 'url', 'value': 'https://www.elance.com/r/rss/jobs/cat-it-programming/fxd-true/o-1/bgt-gt500-ns1/sct-database-development-10217-data-analysis-14174-database-administration-14177-business-intelligence-14173-data-engineering-14175-system-administration-10219-other-data-science-14178-technical-support-10218-other-it-programming-12350-software-application-10216-website-design-10225-web-programming-10224/tls-1/s-timelistedSort' }] }) sw_90 = pipe_uniq(context, sw_68, conf={'field': { 'type': 'text', 'value': 'link' }}) sw_87 = pipe_filter(context, sw_90, conf={ 'COMBINE': { 'type': 'text', 'value': 'or' }, 'MODE': { 'type': 'text', 'value': 'block' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'title' }, 'value': { 'type': 'text', 'value': 'php' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) sw_101 = pipe_sort(context, sw_87, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'pubDate' }, 'dir': { 'type': 'text', 'value': 'DESC' } }] }) _OUTPUT = pipe_output(context, sw_101, conf={}) return _OUTPUT
def pipe_188eca77fd28c96c559f71f5729d91ec(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipefetchpage', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'pipetruncate' ] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_119(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetchpage(context, _INPUT, conf={ 'URL': { 'type': 'url', 'subkey': 'url' }, 'to': { 'type': 'text', 'value': '</tr>' }, 'token': { 'type': 'text', 'value': '<td style="TEXT-ALIGN: center">' }, 'from': { 'type': 'text', 'value': 'One Way</span>' } }) sw_163 = pipe_itembuilder( context, forever, conf={ 'attrs': { 'value': { 'type': 'text', 'value': 'file://data/www.caltrain.com_Fares_farechart.html' }, 'key': { 'type': 'text', 'value': 'url' } } }) sw_111 = pipe_loop(context, sw_163, embed=pipe_sw_119, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'loop:fetchpage' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'EMIT' }, 'embed': { 'type': 'module', 'value': { 'type': 'fetchpage', 'id': 'sw-119', 'conf': { 'URL': { 'type': 'url', 'subkey': 'url' }, 'to': { 'type': 'text', 'value': '</tr>' }, 'token': { 'type': 'text', 'value': '<td style="TEXT-ALIGN: center">' }, 'from': { 'type': 'text', 'value': 'One Way</span>' } } } }, 'with': { 'type': 'text', 'value': '' } }) sw_287 = pipe_truncate(context, sw_111, conf={'count': { 'type': 'number', 'value': '100' }}) _OUTPUT = pipe_output(context, sw_287, conf=None) return _OUTPUT
def pipe_402e244d09a4146cd80421c6628eb6d9(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename'] forever = pipe_forever() sw_572 = pipe_fetchdata( context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml' }, 'path': { 'type': 'text', 'value': 'episode' } }) sw_587 = pipe_rename(context, sw_572, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'programme.title' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'title' } }, { 'field': { 'type': 'text', 'value': 'programme.pid' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'link' } }, { 'field': { 'type': 'text', 'value': 'programme.short_synopsis' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'description' } }] }) sw_598 = pipe_regex(context, sw_587, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'link' }, 'match': { 'type': 'text', 'value': '(.*)' }, 'replace': { 'type': 'text', 'value': 'http://www.bbc.co.uk/programmes/$1' } }] }) _OUTPUT = pipe_output(context, sw_598, conf={}) return _OUTPUT
def pipe_QMrlL_FS3BGlpwryODY80A(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'pipesplit', u'pipeunion' ] forever = pipe_forever() sw_140 = pipe_fetch(context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/news.yahoo.com_rss_health.xml' } }) sw_108 = pipe_split(context, sw_140, splits=2, conf=None) sw_159 = pipe_filter(context, sw_108, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'drug' }, 'op': { 'type': 'text', 'value': 'contains' } } }) sw_204 = pipe_regex(context, sw_159, conf={ 'RULE': { 'field': { 'type': 'text', 'value': 'title' }, 'match': { 'type': 'text', 'value': '(.+)' }, 'replace': { 'type': 'text', 'value': '[Drugs] $1' } } }) sw_148 = pipe_filter(context, sw_108, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'weight' }, 'op': { 'type': 'text', 'value': 'contains' } } }) sw_189 = pipe_regex(context, sw_148, conf={ 'RULE': { 'field': { 'type': 'text', 'value': 'title' }, 'match': { 'type': 'text', 'value': '(.+)' }, 'replace': { 'type': 'text', 'value': '[Weight] $1' } } }) sw_170 = pipe_union(context, forever, _OTHER3=sw_204, conf=None, _OTHER=sw_189) _OUTPUT = pipe_output(context, sw_170, conf=None) return _OUTPUT
def pipe_1166de33b0ea6936d96808717355beaa(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperssitembuilder', u'pipeunion' ] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_710(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder(context, _INPUT, conf={ 'attrs': [{ 'value': { 'type': 'text', 'subkey': 'newtitle' }, 'key': { 'type': 'text', 'value': 'title' } }, { 'value': { 'type': 'text', 'value': 'DESCRIPTION' }, 'key': { 'type': 'text', 'value': 'description.content' } }] }) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_696(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder(context, _INPUT, conf={ 'attrs': [{ 'value': { 'type': 'text', 'value': 'NEWTITLE' }, 'key': { 'type': 'text', 'value': 'newtitle' } }, { 'value': { 'type': 'text', 'subkey': 'title' }, 'key': { 'type': 'text', 'value': 'title' } }] }) sw_674 = pipe_rssitembuilder( context, forever, conf={ 'mediaContentHeight': { 'type': 'text', 'value': '' }, 'mediaThumbURL': { 'type': 'text', 'value': 'http://example.com/a.jpg' }, 'mediaContentType': { 'type': 'text', 'value': '' }, 'description': { 'type': 'text', 'value': 'b' }, 'pubdate': { 'type': 'text', 'value': '' }, 'author': { 'type': 'text', 'value': '' }, 'title': { 'type': 'text', 'value': 'a' }, 'mediaThumbHeight': { 'type': 'text', 'value': '' }, 'link': { 'type': 'text', 'value': 'http://example.com/test.php?this=that' }, 'mediaContentWidth': { 'type': 'text', 'value': '' }, 'mediaContentURL': { 'type': 'text', 'value': '' }, 'guid': { 'type': 'text', 'value': '' }, 'mediaThumbWidth': { 'type': 'text', 'value': '' } }) sw_554 = pipe_itembuilder(context, forever, conf={ 'attrs': [{ 'value': { 'type': 'text', 'value': 'TITLE1' }, 'key': { 'type': 'text', 'value': 'title' } }] }) sw_569 = pipe_itembuilder(context, forever, conf={ 'attrs': [{ 'value': { 'type': 'text', 'value': 'TITLE2' }, 'key': { 'type': 'text', 'value': 'title' } }, { 'value': { 'type': 'text', 'value': 'DESC' }, 'key': { 'type': 'text', 'value': 'description' } }, { 'value': { 'type': 'text', 'value': 'GONE' }, 'key': { 'type': 'text', 'value': 'lostattribute' } }] }) sw_637 = pipe_union(context, sw_554, _OTHER2=sw_569, conf={}) sw_656 = pipe_loop(context, sw_637, embed=pipe_sw_696, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'loop:itembuilder' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'EMIT' }, 'embed': { 'type': 'module', 'value': { 'type': 'itembuilder', 'id': 'sw-696', 'conf': { 'attrs': [{ 'value': { 'type': 'text', 'value': 'NEWTITLE' }, 'key': { 'type': 'text', 'value': 'newtitle' } }, { 'value': { 'type': 'text', 'subkey': 'title' }, 'key': { 'type': 'text', 'value': 'title' } }] } } }, 'with': { 'type': 'text', 'value': '' } }) sw_688 = pipe_loop(context, sw_656, embed=pipe_sw_710, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'loop:itembuilder' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'assign' }, 'embed': { 'type': 'module', 'value': { 'type': 'itembuilder', 'id': 'sw-710', 'conf': { 'attrs': [{ 'value': { 'type': 'text', 'subkey': 'newtitle' }, 'key': { 'type': 'text', 'value': 'title' } }, { 'value': { 'type': 'text', 'value': 'DESCRIPTION' }, 'key': { 'type': 'text', 'value': 'description.content' } }] } } }, 'with': { 'type': 'text', 'value': '' } }) sw_730 = pipe_union(context, sw_674, _OTHER2=sw_688, conf={}) _OUTPUT = pipe_output(context, sw_730, conf={}) return _OUTPUT
def pipe_UuvYtuMe3hGDsmRgPm7D0g(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'name', u'Name', u'text', u'Lancaster')] if context and context.describe_dependencies: return [ u'pipecsv', u'pipefilter', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat', u'pipetextinput' ] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_581(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_strconcat(context, _INPUT, conf={ 'part': [{ 'type': 'text', 'subkey': 'firstName' }, { 'type': 'text', 'value': ' ' }, { 'type': 'text', 'subkey': 'Member' }] }) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_408(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_strconcat( context, _INPUT, conf={ 'part': [{ 'type': 'text', 'value': 'Total allowances claimed, inc travel: ' }, { 'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel' }, { 'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: ' }, { 'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel' }, { 'type': 'text', 'value': '<br>Total Travel claimed: ' }, { 'type': 'text', 'subkey': 'TotalTravelClaimed' }, { 'type': 'text', 'value': '<br>MP Mileage: ' }, { 'type': 'text', 'subkey': 'Mileage' }, { 'type': 'text', 'value': '<br>MP Rail Travel: ' }, { 'type': 'text', 'subkey': 'MPRail' }, { 'type': 'text', 'value': '<br>MP Air Travel: ' }, { 'type': 'text', 'subkey': 'MPAir' }, { 'type': 'text', 'value': '<br>Cost of staying away from main home: ' }, { 'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome' }, { 'type': 'text', 'value': '<br>London Supplement: ' }, { 'type': 'text', 'subkey': 'LondonSupplement' }, { 'type': 'text', 'value': '<br>Office Running Costs: ' }, { 'type': 'text', 'subkey': 'OfficeRunningCosts' }, { 'type': 'text', 'value': '<br>Staffing Costs: ' }, { 'type': 'text', 'subkey': 'StaffingCosts' }] }) sw_371 = pipe_textinput(context, forever, conf={ 'debug': { 'type': 'text', 'value': '' }, 'default': { 'type': 'text', 'value': 'Lancaster' }, 'prompt': { 'type': 'text', 'value': 'Name' }, 'name': { 'type': 'text', 'value': 'name' }, 'position': { 'type': 'number', 'value': '' } }) sw_340 = pipe_csv( context, forever, conf={ 'other_sep': { 'type': 'text', 'value': '' }, 'URL': { 'type': 'url', 'value': 'file://data/spreadsheets.google.com_pub?key=p1rHUqg4g420UMaN1sPvaRg&output=csv&range=a1_AB646.csv' }, 'skip': { 'type': 'number', 'value': '0' }, 'col_name': [{ 'type': 'text', 'value': 'Member' }, { 'type': 'text', 'value': 'firstName' }, { 'type': 'text', 'value': 'TotalAllowancesClaimedIncTravel' }, { 'type': 'text', 'value': 'TotalBasicAllowancesExcTravel' }, { 'type': 'text', 'value': 'TotalTravelClaimed' }, { 'type': 'text', 'value': 'CostofStayingAwayFromMainHome' }, { 'type': 'text', 'value': 'LondonSupplement' }, { 'type': 'text', 'value': 'OfficeRunningCosts' }, { 'type': 'text', 'value': 'StaffingCosts' }, { 'type': 'text', 'value': 'CentrallyPurchasedStationery' }, { 'type': 'text', 'value': 'StationeryAssocdPostageCosts' }, { 'type': 'text', 'value': 'CentralITProvision' }, { 'type': 'text', 'value': 'StaffCoverAndOtherCosts' }, { 'type': 'text', 'value': 'CommsAllowance' }, { 'type': 'text', 'value': 'Mileage' }, { 'type': 'text', 'value': 'MPRail' }, { 'type': 'text', 'value': 'MPAir' }, { 'type': 'text', 'value': 'MPMisc' }, { 'type': 'text', 'value': 'MPOtherMileage' }, { 'type': 'text', 'value': 'MPOtherRail' }, { 'type': 'text', 'value': 'MPOtherAir' }, { 'type': 'text', 'value': 'MPOtherEuropean' }, { 'type': 'text', 'value': 'SpouseTotal' }, { 'type': 'text', 'value': 'SpouseNumOfJourneys' }, { 'type': 'text', 'value': 'FamilyTotal' }, { 'type': 'text', 'value': 'FamilyNumOfJourneys' }, { 'type': 'text', 'value': 'EmployeeTotal' }, { 'type': 'text', 'value': 'EmployeeNumOfJourneys' }], 'col_row_start': { 'type': 'number', 'value': '1' }, 'col_mode': { 'type': 'text', 'value': 'custom' }, 'separator': { 'type': 'text', 'value': ',' }, 'col_row_end': { 'type': 'number', 'value': '1' } }) sw_375 = pipe_filter(context, sw_340, RULE_1_value=sw_371, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'Member' }, 'value': { 'terminal': 'RULE_1_value', 'type': 'text' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) sw_385 = pipe_rename(context, sw_375, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'Member' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'title' } }] }) sw_400 = pipe_loop( context, sw_385, embed=pipe_sw_408, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'description' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'assign' }, 'embed': { 'type': 'module', 'value': { 'type': 'strconcat', 'id': 'sw-408', 'conf': { 'part': [{ 'type': 'text', 'value': 'Total allowances claimed, inc travel: ' }, { 'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel' }, { 'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: ' }, { 'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel' }, { 'type': 'text', 'value': '<br>Total Travel claimed: ' }, { 'type': 'text', 'subkey': 'TotalTravelClaimed' }, { 'type': 'text', 'value': '<br>MP Mileage: ' }, { 'type': 'text', 'subkey': 'Mileage' }, { 'type': 'text', 'value': '<br>MP Rail Travel: ' }, { 'type': 'text', 'subkey': 'MPRail' }, { 'type': 'text', 'value': '<br>MP Air Travel: ' }, { 'type': 'text', 'subkey': 'MPAir' }, { 'type': 'text', 'value': '<br>Cost of staying away from main home: ' }, { 'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome' }, { 'type': 'text', 'value': '<br>London Supplement: ' }, { 'type': 'text', 'subkey': 'LondonSupplement' }, { 'type': 'text', 'value': '<br>Office Running Costs: ' }, { 'type': 'text', 'subkey': 'OfficeRunningCosts' }, { 'type': 'text', 'value': '<br>Staffing Costs: ' }, { 'type': 'text', 'subkey': 'StaffingCosts' }] } } }, 'with': { 'type': 'text', 'value': '' } }) sw_573 = pipe_loop(context, sw_400, embed=pipe_sw_581, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'title' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'assign' }, 'embed': { 'type': 'module', 'value': { 'type': 'strconcat', 'id': 'sw-581', 'conf': { 'part': [{ 'type': 'text', 'subkey': 'firstName' }, { 'type': 'text', 'value': ' ' }, { 'type': 'text', 'subkey': 'Member' }] } } }, 'with': { 'type': 'text', 'value': '' } }) _OUTPUT = pipe_output(context, sw_573, conf={}) return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder' ] forever = pipe_forever() sw_550 = pipe_fetch( context, forever, conf={ 'URL': [{ 'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml' }, { 'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml' }] }) sw_606 = pipe_urlbuilder( context, forever, conf={ 'PATH': { 'type': 'text', 'value': '' }, 'BASE': { 'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml' }, 'PARAM': [{ 'value': { 'type': 'text', 'value': '' }, 'key': { 'type': 'text', 'value': '' } }] }) sw_572 = pipe_fetch(context, forever, _1_URL=sw_606, conf={'URL': { 'terminal': '1_URL', 'type': 'url' }}) sw_580 = pipe_union(context, sw_550, _OTHER=sw_572, conf={}) sw_565 = pipe_sort(context, sw_580, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'title' }, 'dir': { 'type': 'text', 'value': 'ASC' } }] }) sw_596 = pipe_truncate(context, sw_565, conf={'count': { 'type': 'number', 'value': '3' }}) sw_625 = pipe_reverse(context, sw_596, conf={}) _OUTPUT = pipe_output(context, sw_625, conf={}) return _OUTPUT
def pipe_e519dd393f943315f7e4128d19db2eac(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'q', u'Search term:', u'text', u'enterprise mashup')] if context and context.describe_dependencies: return [ u'pipefetch', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder' ] forever = pipe_forever() sw_552 = pipe_textinput(context, forever, conf={ 'debug': { 'type': 'text', 'value': '' }, 'default': { 'type': 'text', 'value': 'enterprise mashup' }, 'prompt': { 'type': 'text', 'value': 'Search term:' }, 'name': { 'type': 'text', 'value': 'q' }, 'position': { 'type': 'number', 'value': '' } }) sw_492 = pipe_urlbuilder(context, forever, PARAM_5_value=sw_552, conf={ 'PATH': { 'type': 'text', 'value': '' }, 'BASE': { 'type': 'text', 'value': 'http://news.google.com/news' }, 'PARAM': [{ 'value': { 'type': 'text', 'value': '1' }, 'key': { 'type': 'text', 'value': 'pz' } }, { 'value': { 'type': 'text', 'value': 'all' }, 'key': { 'type': 'text', 'value': 'cf' } }, { 'value': { 'type': 'text', 'value': 'uk' }, 'key': { 'type': 'text', 'value': 'ned' } }, { 'value': { 'type': 'text', 'value': 'en' }, 'key': { 'type': 'text', 'value': 'hl' } }, { 'value': { 'terminal': 'PARAM_5_value', 'type': 'text' }, 'key': { 'type': 'text', 'value': 'q' } }, { 'value': { 'type': 'text', 'value': 'rss' }, 'key': { 'type': 'text', 'value': 'output' } }] }) sw_481 = pipe_fetch(context, forever, _1_URL=sw_492, conf={'URL': { 'terminal': '1_URL', 'type': 'url' }}) _OUTPUT = pipe_output(context, sw_481, conf={}) return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u"pipefetch", u"pipefilter", u"pipeoutput", u"piperegex", u"piperename", u"pipesort", u"pipeunion", u"pipeuniq", ] forever = pipe_forever() sw_135 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Topthemen.xml"}} ) sw_233 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Politik.xml"}} ) sw_154 = pipe_union(context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135) sw_173 = pipe_uniq(context, sw_154, conf={"field": {"type": "text", "value": "title"}}) sw_180 = pipe_filter( context, sw_173, conf={ "COMBINE": {"type": "text", "value": "or"}, "MODE": {"type": "text", "value": "block"}, "RULE": [ { "field": {"type": "text", "value": "link"}, "value": {"type": "text", "value": "/sport/"}, "op": {"type": "text", "value": "contains"}, }, { "field": {"type": "text", "value": "title"}, "value": {"type": "text", "value": "Bildstrecke:"}, "op": {"type": "text", "value": "contains"}, }, ], }, ) sw_210 = pipe_rename( context, sw_180, conf={ "RULE": [ { "field": {"type": "text", "value": "y:id.value"}, "op": {"type": "text", "value": "copy"}, "newval": {"type": "text", "value": "link"}, } ] }, ) sw_195 = pipe_regex( context, sw_210, conf={ "RULE": [ { "singlelinematch": {"type": "text", "value": "2"}, "globalmatch": {"type": "text", "value": "1"}, "replace": {"type": "text", "value": ""}, "field": {"type": "text", "value": "description"}, "casematch": {"type": "text", "value": "8"}, "match": {"type": "text", "value": "</div>.*$"}, }, { "field": {"type": "text", "value": "link"}, "match": {"type": "text", "value": "^(.*\\/.*)\\/"}, "replace": {"type": "text", "value": "$1/2.220/"}, }, ] }, ) sw_191 = pipe_sort( context, sw_195, conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]}, ) _OUTPUT = pipe_output(context, sw_191, conf={}) return _OUTPUT
def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [ (u'', u'q', u'Caption search term', u'text', u'maverick'), (u'', u'url', u'Caption URL', u'url', u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml' ) ] if context and context.describe_dependencies: return [ u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipetextinput', u'pipeurlinput' ] forever = pipe_forever() sw_521 = pipe_urlinput( context, forever, conf={ 'debug': { 'type': 'url', 'value': '' }, 'default': { 'type': 'url', 'value': 'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml' }, 'prompt': { 'type': 'text', 'value': 'Caption URL' }, 'name': { 'type': 'text', 'value': 'url' }, 'position': { 'type': 'number', 'value': '' } }) sw_572 = pipe_fetchdata(context, forever, URL=sw_521, conf={ 'URL': { 'terminal': 'URL', 'type': 'url' }, 'path': { 'type': 'text', 'value': 'body.div.p' } }) sw_621 = pipe_textinput(context, forever, conf={ 'debug': { 'type': 'text', 'value': '' }, 'default': { 'type': 'text', 'value': 'maverick' }, 'prompt': { 'type': 'text', 'value': 'Caption search term' }, 'name': { 'type': 'text', 'value': 'q' }, 'position': { 'type': 'number', 'value': '' } }) sw_584 = pipe_filter(context, sw_572, RULE_1_value=sw_621, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'content' }, 'value': { 'terminal': 'RULE_1_value', 'type': 'text' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) sw_595 = pipe_rename(context, sw_584, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'begin' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'ctime' } }, { 'field': { 'type': 'text', 'value': 'content' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'title' } }] }) sw_606 = pipe_regex(context, sw_595, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'ctime' }, 'match': { 'type': 'text', 'value': '(.*)' }, 'replace': { 'type': 'text', 'value': '&time=$1' } }] }) _OUTPUT = pipe_output(context, sw_606, conf={}) return _OUTPUT
def pipe_8NMkiTW32xGvMbDKruymrA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'pipesort'] forever = pipe_forever() sw_35 = pipe_fetch( context, forever, conf={ 'URL': [{ 'type': 'url', 'value': 'file://data/www.fourtitude.com_news_publish_rss.xml' }, { 'type': 'url', 'value': 'file://data/feeds.gawker.com_jalopnik_full.xml' }, { 'type': 'url', 'value': 'file://data/www.autoblog.com_rss.xml' }] }) sw_54 = pipe_filter(context, sw_35, conf={ 'COMBINE': { 'type': 'text', 'value': 'or' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Porsche' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Mercedes' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'BMW' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Audi' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'VW' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Lamborghini' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Ferrari' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Pagani' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Aston' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'Lotus' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'TVR' }, 'op': { 'type': 'text', 'value': 'contains' } }, { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'AMG' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) sw_105 = pipe_sort(context, sw_54, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'pubDate' }, 'dir': { 'type': 'text', 'value': 'DESC' } }] }) _OUTPUT = pipe_output(context, sw_105, conf={}) return _OUTPUT