def pipe_1166de33b0ea6936d96808717355beaa(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperssitembuilder', u'pipeunion'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_710(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder( context, _INPUT, conf={'attrs': [{'value': {'type': 'text', 'subkey': 'newtitle'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESCRIPTION'}, 'key': {'type': 'text', 'value': 'description.content'}}]}) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_696(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder( context, _INPUT, conf={'attrs': [{'value': {'type': 'text', 'value': 'NEWTITLE'}, 'key': {'type': 'text', 'value': 'newtitle'}}, {'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'title'}}]}) sw_674 = pipe_rssitembuilder( context, forever, conf={'mediaContentHeight': {'type': 'text', 'value': ''}, 'mediaThumbURL': {'type': 'text', 'value': 'http://example.com/a.jpg'}, 'mediaContentType': {'type': 'text', 'value': ''}, 'description': {'type': 'text', 'value': 'b'}, 'pubdate': {'type': 'text', 'value': ''}, 'author': {'type': 'text', 'value': ''}, 'title': {'type': 'text', 'value': 'a'}, 'mediaThumbHeight': {'type': 'text', 'value': ''}, 'link': {'type': 'text', 'value': 'http://example.com/test.php?this=that'}, 'mediaContentWidth': {'type': 'text', 'value': ''}, 'mediaContentURL': {'type': 'text', 'value': ''}, 'guid': {'type': 'text', 'value': ''}, 'mediaThumbWidth': {'type': 'text', 'value': ''}}) sw_554 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'TITLE1'}, 'key': {'type': 'text', 'value': 'title'}}]}) sw_569 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'TITLE2'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESC'}, 'key': {'type': 'text', 'value': 'description'}}, {'value': {'type': 'text', 'value': 'GONE'}, 'key': {'type': 'text', 'value': 'lostattribute'}}]}) sw_637 = pipe_union( context, sw_554, _OTHER2=sw_569, conf={}) sw_656 = pipe_loop( context, sw_637, embed=pipe_sw_696, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:itembuilder'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'itembuilder', 'id': 'sw-696', 'conf': {'attrs': [{'value': {'type': 'text', 'value': 'NEWTITLE'}, 'key': {'type': 'text', 'value': 'newtitle'}}, {'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'title'}}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_688 = pipe_loop( context, sw_656, embed=pipe_sw_710, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:itembuilder'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'itembuilder', 'id': 'sw-710', 'conf': {'attrs': [{'value': {'type': 'text', 'subkey': 'newtitle'}, 'key': {'type': 'text', 'value': 'title'}}, {'value': {'type': 'text', 'value': 'DESCRIPTION'}, 'key': {'type': 'text', 'value': 'description.content'}}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_730 = pipe_union( context, sw_674, _OTHER2=sw_688, conf={}) _OUTPUT = pipe_output( context, sw_730, conf={}) return _OUTPUT
def pipe_b96287458de001ad62a637095df33ad5(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipeitembuilder', u'pipeoutput', u'pipestrconcat', u'pipeunion'] forever = pipe_forever() sw_632 = pipe_itembuilder( context, forever, conf={'attrs': [{'value': {'type': 'text', 'value': 'VAL1'}, 'key': {'type': 'text', 'value': 'ATTR1'}}, {'value': {'type': 'text', 'value': 'VAL2'}, 'key': {'type': 'text', 'value': 'attrpath.attr2'}}]}) sw_605 = pipe_strconcat( context, forever, conf={'part': {'type': 'text', 'value': 'extVal'}}) sw_551 = pipe_itembuilder( context, forever, attrs_3_value=sw_605, conf={'attrs': [{'value': {'type': 'text', 'value': 'val1'}, 'key': {'type': 'text', 'value': 'attr1'}}, {'value': {'type': 'text', 'value': 'val2'}, 'key': {'type': 'text', 'value': 'attrpath.attr2'}}, {'value': {'terminal': 'attrs_3_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'attrpath.attr3'}}, {'value': {'type': 'text', 'value': 'val3'}, 'key': {'type': 'text', 'value': 'longpath.attrpath.attr3'}}]}) sw_613 = pipe_union( context, sw_551, _OTHER1=sw_632, conf={}) _OUTPUT = pipe_output( context, sw_613, conf={}) return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipesort', u'pipeunion', u'pipeuniq'] forever = pipe_forever() sw_135 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Topthemen.xml'}}) sw_233 = pipe_fetch( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Politik.xml'}}) sw_154 = pipe_union( context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135) sw_173 = pipe_uniq( context, sw_154, conf={'field': {'type': 'text', 'value': 'title'}}) sw_180 = pipe_filter( context, sw_173, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'block'}, 'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'value': {'type': 'text', 'value': '/sport/'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': 'Bildstrecke:'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_210 = pipe_rename( context, sw_180, conf={'RULE': [{'field': {'type': 'text', 'value': 'y:id.value'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}]}) sw_195 = pipe_regex( context, sw_210, conf={'RULE': [{'singlelinematch': {'type': 'text', 'value': '2'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'replace': {'type': 'text', 'value': ''}, 'field': {'type': 'text', 'value': 'description'}, 'casematch': {'type': 'text', 'value': '8'}, 'match': {'type': 'text', 'value': '</div>.*$'}}, {'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '^(.*\\/.*)\\/'}, 'replace': {'type': 'text', 'value': '$1/2.220/'}}]}) sw_191 = pipe_sort( context, sw_195, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]}) _OUTPUT = pipe_output( context, sw_191, conf={}) return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder'] forever = pipe_forever() sw_550 = pipe_fetch( context, forever, conf={'URL': [{'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml'}, {'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml'}]}) sw_606 = pipe_urlbuilder( context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml'}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]}) sw_572 = pipe_fetch( context, forever, _1_URL=sw_606, conf={'URL': {'terminal': '1_URL', 'type': 'url'}}) sw_580 = pipe_union( context, sw_550, _OTHER=sw_572, conf={}) sw_565 = pipe_sort( context, sw_580, conf={'KEY': [{'field': {'type': 'text', 'value': 'title'}, 'dir': {'type': 'text', 'value': 'ASC'}}]}) sw_596 = pipe_truncate( context, sw_565, conf={'count': {'type': 'number', 'value': '3'}}) sw_625 = pipe_reverse( context, sw_596, conf={}) _OUTPUT = pipe_output( context, sw_625, conf={}) return _OUTPUT
def pipe_1166de33b0ea6936d96808717355beaa(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperssitembuilder', u'pipeunion' ] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_710(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder(context, _INPUT, conf={ 'attrs': [{ 'value': { 'type': 'text', 'subkey': 'newtitle' }, 'key': { 'type': 'text', 'value': 'title' } }, { 'value': { 'type': 'text', 'value': 'DESCRIPTION' }, 'key': { 'type': 'text', 'value': 'description.content' } }] }) # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_696(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_itembuilder(context, _INPUT, conf={ 'attrs': [{ 'value': { 'type': 'text', 'value': 'NEWTITLE' }, 'key': { 'type': 'text', 'value': 'newtitle' } }, { 'value': { 'type': 'text', 'subkey': 'title' }, 'key': { 'type': 'text', 'value': 'title' } }] }) sw_674 = pipe_rssitembuilder( context, forever, conf={ 'mediaContentHeight': { 'type': 'text', 'value': '' }, 'mediaThumbURL': { 'type': 'text', 'value': 'http://example.com/a.jpg' }, 'mediaContentType': { 'type': 'text', 'value': '' }, 'description': { 'type': 'text', 'value': 'b' }, 'pubdate': { 'type': 'text', 'value': '' }, 'author': { 'type': 'text', 'value': '' }, 'title': { 'type': 'text', 'value': 'a' }, 'mediaThumbHeight': { 'type': 'text', 'value': '' }, 'link': { 'type': 'text', 'value': 'http://example.com/test.php?this=that' }, 'mediaContentWidth': { 'type': 'text', 'value': '' }, 'mediaContentURL': { 'type': 'text', 'value': '' }, 'guid': { 'type': 'text', 'value': '' }, 'mediaThumbWidth': { 'type': 'text', 'value': '' } }) sw_554 = pipe_itembuilder(context, forever, conf={ 'attrs': [{ 'value': { 'type': 'text', 'value': 'TITLE1' }, 'key': { 'type': 'text', 'value': 'title' } }] }) sw_569 = pipe_itembuilder(context, forever, conf={ 'attrs': [{ 'value': { 'type': 'text', 'value': 'TITLE2' }, 'key': { 'type': 'text', 'value': 'title' } }, { 'value': { 'type': 'text', 'value': 'DESC' }, 'key': { 'type': 'text', 'value': 'description' } }, { 'value': { 'type': 'text', 'value': 'GONE' }, 'key': { 'type': 'text', 'value': 'lostattribute' } }] }) sw_637 = pipe_union(context, sw_554, _OTHER2=sw_569, conf={}) sw_656 = pipe_loop(context, sw_637, embed=pipe_sw_696, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'loop:itembuilder' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'EMIT' }, 'embed': { 'type': 'module', 'value': { 'type': 'itembuilder', 'id': 'sw-696', 'conf': { 'attrs': [{ 'value': { 'type': 'text', 'value': 'NEWTITLE' }, 'key': { 'type': 'text', 'value': 'newtitle' } }, { 'value': { 'type': 'text', 'subkey': 'title' }, 'key': { 'type': 'text', 'value': 'title' } }] } } }, 'with': { 'type': 'text', 'value': '' } }) sw_688 = pipe_loop(context, sw_656, embed=pipe_sw_710, conf={ 'assign_part': { 'type': 'text', 'value': 'all' }, 'assign_to': { 'type': 'text', 'value': 'loop:itembuilder' }, 'emit_part': { 'type': 'text', 'value': 'all' }, 'mode': { 'type': 'text', 'value': 'assign' }, 'embed': { 'type': 'module', 'value': { 'type': 'itembuilder', 'id': 'sw-710', 'conf': { 'attrs': [{ 'value': { 'type': 'text', 'subkey': 'newtitle' }, 'key': { 'type': 'text', 'value': 'title' } }, { 'value': { 'type': 'text', 'value': 'DESCRIPTION' }, 'key': { 'type': 'text', 'value': 'description.content' } }] } } }, 'with': { 'type': 'text', 'value': '' } }) sw_730 = pipe_union(context, sw_674, _OTHER2=sw_688, conf={}) _OUTPUT = pipe_output(context, sw_730, conf={}) return _OUTPUT
def pipe_58a53262da5a095fe7a0d6d905cc4db6(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipefetch', u'pipeoutput', u'pipereverse', u'pipesort', u'pipetruncate', u'pipeunion', u'pipeurlbuilder' ] forever = pipe_forever() sw_550 = pipe_fetch( context, forever, conf={ 'URL': [{ 'type': 'url', 'value': 'file://data/blog.ouseful.info_feed.xml' }, { 'type': 'url', 'value': 'file://data/feeds.feedburner.com_TheEdTechie.xml' }] }) sw_606 = pipe_urlbuilder( context, forever, conf={ 'PATH': { 'type': 'text', 'value': '' }, 'BASE': { 'type': 'text', 'value': 'file://data/www.greenhughes.com_rssfeed.xml' }, 'PARAM': [{ 'value': { 'type': 'text', 'value': '' }, 'key': { 'type': 'text', 'value': '' } }] }) sw_572 = pipe_fetch(context, forever, _1_URL=sw_606, conf={'URL': { 'terminal': '1_URL', 'type': 'url' }}) sw_580 = pipe_union(context, sw_550, _OTHER=sw_572, conf={}) sw_565 = pipe_sort(context, sw_580, conf={ 'KEY': [{ 'field': { 'type': 'text', 'value': 'title' }, 'dir': { 'type': 'text', 'value': 'ASC' } }] }) sw_596 = pipe_truncate(context, sw_565, conf={'count': { 'type': 'number', 'value': '3' }}) sw_625 = pipe_reverse(context, sw_596, conf={}) _OUTPUT = pipe_output(context, sw_625, conf={}) return _OUTPUT
def pipe_QMrlL_FS3BGlpwryODY80A(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u"pipefetch", u"pipefilter", u"pipeoutput", u"piperegex", u"pipesplit", u"pipeunion"] forever = pipe_forever() sw_140 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/news.yahoo.com_rss_health.xml"}} ) sw_108 = pipe_split(context, sw_140, splits=2, conf=None) sw_159 = pipe_filter( context, sw_108, conf={ "COMBINE": {"type": "text", "value": "and"}, "MODE": {"type": "text", "value": "permit"}, "RULE": { "field": {"type": "text", "value": "description"}, "value": {"type": "text", "value": "drug"}, "op": {"type": "text", "value": "contains"}, }, }, ) sw_204 = pipe_regex( context, sw_159, conf={ "RULE": { "field": {"type": "text", "value": "title"}, "match": {"type": "text", "value": "(.+)"}, "replace": {"type": "text", "value": "[Drugs] $1"}, } }, ) sw_148 = pipe_filter( context, sw_108, conf={ "COMBINE": {"type": "text", "value": "and"}, "MODE": {"type": "text", "value": "permit"}, "RULE": { "field": {"type": "text", "value": "description"}, "value": {"type": "text", "value": "weight"}, "op": {"type": "text", "value": "contains"}, }, }, ) sw_189 = pipe_regex( context, sw_148, conf={ "RULE": { "field": {"type": "text", "value": "title"}, "match": {"type": "text", "value": "(.+)"}, "replace": {"type": "text", "value": "[Weight] $1"}, } }, ) sw_170 = pipe_union(context, forever, _OTHER3=sw_204, conf=None, _OTHER=sw_189) _OUTPUT = pipe_output(context, sw_170, conf=None) return _OUTPUT
def pipe_QMrlL_FS3BGlpwryODY80A(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'pipesplit', u'pipeunion' ] forever = pipe_forever() sw_140 = pipe_fetch(context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/news.yahoo.com_rss_health.xml' } }) sw_108 = pipe_split(context, sw_140, splits=2, conf=None) sw_159 = pipe_filter(context, sw_108, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'drug' }, 'op': { 'type': 'text', 'value': 'contains' } } }) sw_204 = pipe_regex(context, sw_159, conf={ 'RULE': { 'field': { 'type': 'text', 'value': 'title' }, 'match': { 'type': 'text', 'value': '(.+)' }, 'replace': { 'type': 'text', 'value': '[Drugs] $1' } } }) sw_148 = pipe_filter(context, sw_108, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': { 'field': { 'type': 'text', 'value': 'description' }, 'value': { 'type': 'text', 'value': 'weight' }, 'op': { 'type': 'text', 'value': 'contains' } } }) sw_189 = pipe_regex(context, sw_148, conf={ 'RULE': { 'field': { 'type': 'text', 'value': 'title' }, 'match': { 'type': 'text', 'value': '(.+)' }, 'replace': { 'type': 'text', 'value': '[Weight] $1' } } }) sw_170 = pipe_union(context, forever, _OTHER3=sw_204, conf=None, _OTHER=sw_189) _OUTPUT = pipe_output(context, sw_170, conf=None) return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [ u"pipefetch", u"pipefilter", u"pipeoutput", u"piperegex", u"piperename", u"pipesort", u"pipeunion", u"pipeuniq", ] forever = pipe_forever() sw_135 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Topthemen.xml"}} ) sw_233 = pipe_fetch( context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Politik.xml"}} ) sw_154 = pipe_union(context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135) sw_173 = pipe_uniq(context, sw_154, conf={"field": {"type": "text", "value": "title"}}) sw_180 = pipe_filter( context, sw_173, conf={ "COMBINE": {"type": "text", "value": "or"}, "MODE": {"type": "text", "value": "block"}, "RULE": [ { "field": {"type": "text", "value": "link"}, "value": {"type": "text", "value": "/sport/"}, "op": {"type": "text", "value": "contains"}, }, { "field": {"type": "text", "value": "title"}, "value": {"type": "text", "value": "Bildstrecke:"}, "op": {"type": "text", "value": "contains"}, }, ], }, ) sw_210 = pipe_rename( context, sw_180, conf={ "RULE": [ { "field": {"type": "text", "value": "y:id.value"}, "op": {"type": "text", "value": "copy"}, "newval": {"type": "text", "value": "link"}, } ] }, ) sw_195 = pipe_regex( context, sw_210, conf={ "RULE": [ { "singlelinematch": {"type": "text", "value": "2"}, "globalmatch": {"type": "text", "value": "1"}, "replace": {"type": "text", "value": ""}, "field": {"type": "text", "value": "description"}, "casematch": {"type": "text", "value": "8"}, "match": {"type": "text", "value": "</div>.*$"}, }, { "field": {"type": "text", "value": "link"}, "match": {"type": "text", "value": "^(.*\\/.*)\\/"}, "replace": {"type": "text", "value": "$1/2.220/"}, }, ] }, ) sw_191 = pipe_sort( context, sw_195, conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]}, ) _OUTPUT = pipe_output(context, sw_191, conf={}) return _OUTPUT