def pipe_402e244d09a4146cd80421c6628eb6d9(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename'] forever = pipe_forever() sw_572 = pipe_fetchdata( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml'}, 'path': {'type': 'text', 'value': 'episode'}}) sw_587 = pipe_rename( context, sw_572, conf={'RULE': [{'field': {'type': 'text', 'value': 'programme.title'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}, {'field': {'type': 'text', 'value': 'programme.pid'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}, {'field': {'type': 'text', 'value': 'programme.short_synopsis'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]}) sw_598 = pipe_regex( context, sw_587, conf={'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': 'http://www.bbc.co.uk/programmes/$1'}}]}) _OUTPUT = pipe_output( context, sw_598, conf={}) return _OUTPUT
def pipe_dAI_R_FS3BG6fTKsAsqenA(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat'] forever = pipe_forever() # We need to wrap submodules (used by loops) so we can pass the # input at runtime (as we can to subpipelines) def pipe_sw_298(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_strconcat( context, _INPUT, conf={'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]}) sw_286 = pipe_fetchdata( context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/capnorth.oes.ca.gov_89509.xml'}, 'path': {'type': 'text', 'value': 'info'}}) sw_138 = pipe_loop( context, sw_286, embed=pipe_sw_298, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'title'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-298', 'conf': {'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]}}}, 'with': {'type': 'text', 'value': ''}}) sw_180 = pipe_rename( context, sw_138, conf={'RULE': [{'field': {'type': 'text', 'value': 'expires'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'pubDate'}}]}) _OUTPUT = pipe_output( context, sw_180, conf={}) return _OUTPUT
def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'q', u'Caption search term', u'text', u'maverick'), (u'', u'url', u'Caption URL', u'url', u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml')] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipetextinput', u'pipeurlinput'] forever = pipe_forever() sw_521 = pipe_urlinput( context, forever, conf={'debug': {'type': 'url', 'value': ''}, 'default': {'type': 'url', 'value': 'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'}, 'prompt': {'type': 'text', 'value': 'Caption URL'}, 'name': {'type': 'text', 'value': 'url'}, 'position': {'type': 'number', 'value': ''}}) sw_572 = pipe_fetchdata( context, forever, URL=sw_521, conf={'URL': {'terminal': 'URL', 'type': 'url'}, 'path': {'type': 'text', 'value': 'body.div.p'}}) sw_621 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'maverick'}, 'prompt': {'type': 'text', 'value': 'Caption search term'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}}) sw_584 = pipe_filter( context, sw_572, RULE_1_value=sw_621, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]}) sw_595 = pipe_rename( context, sw_584, conf={'RULE': [{'field': {'type': 'text', 'value': 'begin'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'ctime'}}, {'field': {'type': 'text', 'value': 'content'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}]}) sw_606 = pipe_regex( context, sw_595, conf={'RULE': [{'field': {'type': 'text', 'value': 'ctime'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '&time=$1'}}]}) _OUTPUT = pipe_output( context, sw_606, conf={}) return _OUTPUT
def pipe_bd0834cfe6cdacb0bea5569505d330b8(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [(u'', u'gid', u'MP Guardian ID', u'text', u'1276')] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeoutput', u'pipetextinput', u'pipeurlbuilder'] forever = pipe_forever() sw_606 = pipe_textinput( context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': '1276'}, 'prompt': {'type': 'text', 'value': 'MP Guardian ID'}, 'name': {'type': 'text', 'value': 'gid'}, 'position': {'type': 'number', 'value': ''}}) sw_579 = pipe_urlbuilder( context, forever, _1_PATH=sw_606, conf={'PATH': [{'terminal': '1_PATH', 'type': 'text'}, {'type': 'text', 'value': 'json'}], 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': ''}, 'key': {'type': 'text', 'value': ''}}]}) sw_610 = pipe_fetchdata( context, forever, URL=sw_579, conf={'URL': {'terminal': 'URL', 'type': 'url'}, 'path': {'type': 'text', 'value': 'person'}}) _OUTPUT = pipe_output( context, sw_610, conf={}) return _OUTPUT
def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [ (u'', u'q', u'Caption search term', u'text', u'maverick'), (u'', u'url', u'Caption URL', u'url', u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml' ) ] if context and context.describe_dependencies: return [ u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipetextinput', u'pipeurlinput' ] forever = pipe_forever() sw_521 = pipe_urlinput( context, forever, conf={ 'debug': { 'type': 'url', 'value': '' }, 'default': { 'type': 'url', 'value': 'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml' }, 'prompt': { 'type': 'text', 'value': 'Caption URL' }, 'name': { 'type': 'text', 'value': 'url' }, 'position': { 'type': 'number', 'value': '' } }) sw_572 = pipe_fetchdata(context, forever, URL=sw_521, conf={ 'URL': { 'terminal': 'URL', 'type': 'url' }, 'path': { 'type': 'text', 'value': 'body.div.p' } }) sw_621 = pipe_textinput(context, forever, conf={ 'debug': { 'type': 'text', 'value': '' }, 'default': { 'type': 'text', 'value': 'maverick' }, 'prompt': { 'type': 'text', 'value': 'Caption search term' }, 'name': { 'type': 'text', 'value': 'q' }, 'position': { 'type': 'number', 'value': '' } }) sw_584 = pipe_filter(context, sw_572, RULE_1_value=sw_621, conf={ 'COMBINE': { 'type': 'text', 'value': 'and' }, 'MODE': { 'type': 'text', 'value': 'permit' }, 'RULE': [{ 'field': { 'type': 'text', 'value': 'content' }, 'value': { 'terminal': 'RULE_1_value', 'type': 'text' }, 'op': { 'type': 'text', 'value': 'contains' } }] }) sw_595 = pipe_rename(context, sw_584, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'begin' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'ctime' } }, { 'field': { 'type': 'text', 'value': 'content' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'title' } }] }) sw_606 = pipe_regex(context, sw_595, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'ctime' }, 'match': { 'type': 'text', 'value': '(.*)' }, 'replace': { 'type': 'text', 'value': '&time=$1' } }] }) _OUTPUT = pipe_output(context, sw_606, conf={}) return _OUTPUT
def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetchdata( context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'language-url'}, 'path': {'type': 'text', 'value': 'responseData.language'}})
def pipe_402e244d09a4146cd80421c6628eb6d9(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert pipeline description here conf = conf or {} if context and context.describe_input: return [] if context and context.describe_dependencies: return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename'] forever = pipe_forever() sw_572 = pipe_fetchdata( context, forever, conf={ 'URL': { 'type': 'url', 'value': 'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml' }, 'path': { 'type': 'text', 'value': 'episode' } }) sw_587 = pipe_rename(context, sw_572, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'programme.title' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'title' } }, { 'field': { 'type': 'text', 'value': 'programme.pid' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'link' } }, { 'field': { 'type': 'text', 'value': 'programme.short_synopsis' }, 'op': { 'type': 'text', 'value': 'copy' }, 'newval': { 'type': 'text', 'value': 'description' } }] }) sw_598 = pipe_regex(context, sw_587, conf={ 'RULE': [{ 'field': { 'type': 'text', 'value': 'link' }, 'match': { 'type': 'text', 'value': '(.*)' }, 'replace': { 'type': 'text', 'value': 'http://www.bbc.co.uk/programmes/$1' } }] }) _OUTPUT = pipe_output(context, sw_598, conf={}) return _OUTPUT
def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetchdata(context, _INPUT, conf=conf)
def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs): # todo: insert submodule description here return pipe_fetchdata(context, _INPUT, conf=conf)