def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'q', u'Caption search term', u'text', u'maverick'), (u'', u'url', u'Caption URL', u'url', u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml')]
if context and context.describe_dependencies:
return [u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipetextinput', u'pipeurlinput']
forever = pipe_forever()
sw_521 = pipe_urlinput(
context, forever, conf={'debug': {'type': 'url', 'value': ''}, 'default': {'type': 'url', 'value': 'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'}, 'prompt': {'type': 'text', 'value': 'Caption URL'}, 'name': {'type': 'text', 'value': 'url'}, 'position': {'type': 'number', 'value': ''}})
sw_572 = pipe_fetchdata(
context, forever, URL=sw_521, conf={'URL': {'terminal': 'URL', 'type': 'url'}, 'path': {'type': 'text', 'value': 'body.div.p'}})
sw_621 = pipe_textinput(
context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'maverick'}, 'prompt': {'type': 'text', 'value': 'Caption search term'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}})
sw_584 = pipe_filter(
context, sw_572, RULE_1_value=sw_621, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]})
sw_595 = pipe_rename(
context, sw_584, conf={'RULE': [{'field': {'type': 'text', 'value': 'begin'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'ctime'}}, {'field': {'type': 'text', 'value': 'content'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}]})
sw_606 = pipe_regex(
context, sw_595, conf={'RULE': [{'field': {'type': 'text', 'value': 'ctime'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '&time=$1'}}]})
_OUTPUT = pipe_output(
context, sw_606, conf={})
return _OUTPUT
def pipe_402e244d09a4146cd80421c6628eb6d9(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename']
forever = pipe_forever()
sw_572 = pipe_fetchdata(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml'}, 'path': {'type': 'text', 'value': 'episode'}})
sw_587 = pipe_rename(
context, sw_572, conf={'RULE': [{'field': {'type': 'text', 'value': 'programme.title'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}, {'field': {'type': 'text', 'value': 'programme.pid'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}, {'field': {'type': 'text', 'value': 'programme.short_synopsis'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]})
sw_598 = pipe_regex(
context, sw_587, conf={'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': 'http://www.bbc.co.uk/programmes/$1'}}]})
_OUTPUT = pipe_output(
context, sw_598, conf={})
return _OUTPUT
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipeurlbuilder']
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_urlbuilder(
context, forever, conf={'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]})
sw_565 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': ''}})
sw_626 = pipe_loop(
context, sw_565, embed=pipe_sw_634, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'media:content.url'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'urlbuilder', 'id': 'sw-634', 'conf': {'PATH': {'type': 'text', 'value': ''}, 'BASE': {'type': 'text', 'value': ''}, 'PARAM': [{'value': {'type': 'text', 'value': 'qr'}, 'key': {'type': 'text', 'value': 'cht'}}, {'value': {'type': 'text', 'value': '200x200'}, 'key': {'type': 'text', 'value': 'chs'}}, {'value': {'type': 'text', 'subkey': 'link'}, 'key': {'type': 'text', 'value': 'chl'}}]}}}, 'with': {'type': 'text', 'value': ''}})
sw_592 = pipe_rename(
context, sw_626, conf={'RULE': [{'field': {'type': 'text', 'value': 'media:content.url'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]})
sw_636 = pipe_regex(
context, sw_592, conf={'RULE': [{'field': {'type': 'text', 'value': 'description'}, 'match': {'type': 'text', 'value': '(.*)'}, 'replace': {'type': 'text', 'value': '<img src="$1" alt="QRcode" /><br/>${title}'}}]})
_OUTPUT = pipe_output(
context, sw_636, conf={})
return _OUTPUT
def pipe_a08134746e30a6dd3a7cb3c0cf098692(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipecreaterss', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat', u'pipexpathfetchpage']
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_515(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_strconcat(
context, forever, conf={'part': [{'type': 'text', 'value': '<img src="'}, {'type': 'text', 'subkey': 'img.src'}, {'type': 'text', 'value': '">'}]})
sw_327 = pipe_xpathfetchpage(
context, forever, conf={'URL': {'type': 'url', 'value': 'http://pinterest.com/popular/'}, 'xpath': {'type': 'text', 'value': "//a[@class='PinImage ImgLink']"}})
sw_507 = pipe_loop(
context, sw_327, embed=pipe_sw_515, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'description'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-515', 'conf': {'part': [{'type': 'text', 'value': '<img src="'}, {'type': 'text', 'subkey': 'img.src'}, {'type': 'text', 'value': '">'}]}}}, 'with': {'type': 'text', 'value': ''}})
sw_303 = pipe_rename(
context, sw_507, conf={'RULE': {'field': {'type': 'text', 'value': 'href'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'link'}}})
sw_443 = pipe_createrss(
context, sw_303, conf={'mediaContentHeight': {'type': 'text', 'value': ''}, 'mediaThumbURL': {'type': 'text', 'value': ''}, 'mediaContentType': {'type': 'text', 'value': ''}, 'description': {'type': 'text', 'value': ''}, 'pubdate': {'type': 'text', 'value': ''}, 'author': {'type': 'text', 'value': ''}, 'title': {'type': 'text', 'value': 'img.alt'}, 'mediaThumbHeight': {'type': 'text', 'value': ''}, 'link': {'type': 'text', 'value': ''}, 'mediaContentWidth': {'type': 'text', 'value': ''}, 'mediaContentURL': {'type': 'text', 'value': 'img.src'}, 'guid': {'type': 'text', 'value': ''}, 'mediaThumbWidth': {'type': 'text', 'value': ''}})
sw_261 = pipe_output(
context, sw_443, conf=None)
return sw_261
def pipe_dAI_R_FS3BG6fTKsAsqenA(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetchdata', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat']
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_298(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_strconcat(
context, _INPUT, conf={'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]})
sw_286 = pipe_fetchdata(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/capnorth.oes.ca.gov_89509.xml'}, 'path': {'type': 'text', 'value': 'info'}})
sw_138 = pipe_loop(
context, sw_286, embed=pipe_sw_298, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'title'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-298', 'conf': {'part': [{'type': 'text', 'subkey': 'headline'}, {'type': 'text', 'value': ' ('}, {'type': 'text', 'subkey': 'severity'}, {'type': 'text', 'value': ')'}]}}}, 'with': {'type': 'text', 'value': ''}})
sw_180 = pipe_rename(
context, sw_138, conf={'RULE': [{'field': {'type': 'text', 'value': 'expires'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'pubDate'}}]})
_OUTPUT = pipe_output(
context, sw_180, conf={})
return _OUTPUT
def pipe_UuvYtuMe3hGDsmRgPm7D0g(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'name', u'Name', u'text', u'Lancaster')]
if context and context.describe_dependencies:
return [u'pipecsv', u'pipefilter', u'pipeloop', u'pipeoutput', u'piperename', u'pipestrconcat', u'pipetextinput']
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_581(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_strconcat(
context, _INPUT, conf={'part': [{'type': 'text', 'subkey': 'firstName'}, {'type': 'text', 'value': ' '}, {'type': 'text', 'subkey': 'Member'}]})
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_408(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_strconcat(
context, _INPUT, conf={'part': [{'type': 'text', 'value': 'Total allowances claimed, inc travel: '}, {'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: '}, {'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': '<br>Total Travel claimed: '}, {'type': 'text', 'subkey': 'TotalTravelClaimed'}, {'type': 'text', 'value': '<br>MP Mileage: '}, {'type': 'text', 'subkey': 'Mileage'}, {'type': 'text', 'value': '<br>MP Rail Travel: '}, {'type': 'text', 'subkey': 'MPRail'}, {'type': 'text', 'value': '<br>MP Air Travel: '}, {'type': 'text', 'subkey': 'MPAir'}, {'type': 'text', 'value': '<br>Cost of staying away from main home: '}, {'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': '<br>London Supplement: '}, {'type': 'text', 'subkey': 'LondonSupplement'}, {'type': 'text', 'value': '<br>Office Running Costs: '}, {'type': 'text', 'subkey': 'OfficeRunningCosts'}, {'type': 'text', 'value': '<br>Staffing Costs: '}, {'type': 'text', 'subkey': 'StaffingCosts'}]})
sw_371 = pipe_textinput(
context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'Lancaster'}, 'prompt': {'type': 'text', 'value': 'Name'}, 'name': {'type': 'text', 'value': 'name'}, 'position': {'type': 'number', 'value': ''}})
sw_340 = pipe_csv(
context, forever, conf={'other_sep': {'type': 'text', 'value': ''}, 'URL': {'type': 'url', 'value': 'file://data/spreadsheets.google.com_pub?key=p1rHUqg4g420UMaN1sPvaRg&output=csv&range=a1_AB646.csv'}, 'skip': {'type': 'number', 'value': '0'}, 'col_name': [{'type': 'text', 'value': 'Member'}, {'type': 'text', 'value': 'firstName'}, {'type': 'text', 'value': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': 'TotalTravelClaimed'}, {'type': 'text', 'value': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': 'LondonSupplement'}, {'type': 'text', 'value': 'OfficeRunningCosts'}, {'type': 'text', 'value': 'StaffingCosts'}, {'type': 'text', 'value': 'CentrallyPurchasedStationery'}, {'type': 'text', 'value': 'StationeryAssocdPostageCosts'}, {'type': 'text', 'value': 'CentralITProvision'}, {'type': 'text', 'value': 'StaffCoverAndOtherCosts'}, {'type': 'text', 'value': 'CommsAllowance'}, {'type': 'text', 'value': 'Mileage'}, {'type': 'text', 'value': 'MPRail'}, {'type': 'text', 'value': 'MPAir'}, {'type': 'text', 'value': 'MPMisc'}, {'type': 'text', 'value': 'MPOtherMileage'}, {'type': 'text', 'value': 'MPOtherRail'}, {'type': 'text', 'value': 'MPOtherAir'}, {'type': 'text', 'value': 'MPOtherEuropean'}, {'type': 'text', 'value': 'SpouseTotal'}, {'type': 'text', 'value': 'SpouseNumOfJourneys'}, {'type': 'text', 'value': 'FamilyTotal'}, {'type': 'text', 'value': 'FamilyNumOfJourneys'}, {'type': 'text', 'value': 'EmployeeTotal'}, {'type': 'text', 'value': 'EmployeeNumOfJourneys'}], 'col_row_start': {'type': 'number', 'value': '1'}, 'col_mode': {'type': 'text', 'value': 'custom'}, 'separator': {'type': 'text', 'value': ','}, 'col_row_end': {'type': 'number', 'value': '1'}})
sw_375 = pipe_filter(
context, sw_340, RULE_1_value=sw_371, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'Member'}, 'value': {'terminal': 'RULE_1_value', 'type': 'text'}, 'op': {'type': 'text', 'value': 'contains'}}]})
sw_385 = pipe_rename(
context, sw_375, conf={'RULE': [{'field': {'type': 'text', 'value': 'Member'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'title'}}]})
sw_400 = pipe_loop(
context, sw_385, embed=pipe_sw_408, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'description'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-408', 'conf': {'part': [{'type': 'text', 'value': 'Total allowances claimed, inc travel: '}, {'type': 'text', 'subkey': 'TotalAllowancesClaimedIncTravel'}, {'type': 'text', 'value': '<br>Total basic allowances claimed, ex travel: '}, {'type': 'text', 'subkey': 'TotalBasicAllowancesExcTravel'}, {'type': 'text', 'value': '<br>Total Travel claimed: '}, {'type': 'text', 'subkey': 'TotalTravelClaimed'}, {'type': 'text', 'value': '<br>MP Mileage: '}, {'type': 'text', 'subkey': 'Mileage'}, {'type': 'text', 'value': '<br>MP Rail Travel: '}, {'type': 'text', 'subkey': 'MPRail'}, {'type': 'text', 'value': '<br>MP Air Travel: '}, {'type': 'text', 'subkey': 'MPAir'}, {'type': 'text', 'value': '<br>Cost of staying away from main home: '}, {'type': 'text', 'subkey': 'CostofStayingAwayFromMainHome'}, {'type': 'text', 'value': '<br>London Supplement: '}, {'type': 'text', 'subkey': 'LondonSupplement'}, {'type': 'text', 'value': '<br>Office Running Costs: '}, {'type': 'text', 'subkey': 'OfficeRunningCosts'}, {'type': 'text', 'value': '<br>Staffing Costs: '}, {'type': 'text', 'subkey': 'StaffingCosts'}]}}}, 'with': {'type': 'text', 'value': ''}})
sw_573 = pipe_loop(
context, sw_400, embed=pipe_sw_581, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'title'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'strconcat', 'id': 'sw-581', 'conf': {'part': [{'type': 'text', 'subkey': 'firstName'}, {'type': 'text', 'value': ' '}, {'type': 'text', 'subkey': 'Member'}]}}}, 'with': {'type': 'text', 'value': ''}})
_OUTPUT = pipe_output(
context, sw_573, conf={})
return _OUTPUT
def pipe_125e9fe8bb5f84526d21bebfec3ad116(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'textinput1', u'Enter Text', u'text', u'Guten Tag')]
if context and context.describe_dependencies:
return [u'pipefetchdata', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperename', u'pipetextinput', u'pipeurlbuilder']
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_72(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_urlbuilder(
context, _INPUT, conf={'BASE': {'type': 'text', 'value': 'http://ajax.googleapis.com/ajax/services/language/detect'}, 'PARAM': [{'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': '1.0'}, 'key': {'type': 'text', 'value': 'v'}}]})
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_fetchdata(
context, _INPUT, conf={'URL': {'type': 'url', 'subkey': 'language-url'}, 'path': {'type': 'text', 'value': 'responseData.language'}})
sw_479 = pipe_textinput(
context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': 'Guten Tag'}, 'prompt': {'type': 'text', 'value': 'Enter Text'}, 'name': {'type': 'text', 'value': 'textinput1'}, 'position': {'type': 'number', 'value': ''}})
sw_467 = pipe_itembuilder(
context, forever, conf={'attrs': [{'value': {'terminal': 'attrs_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'title'}}]}, attrs_1_value=sw_479)
sw_61 = pipe_loop(
context, sw_467, embed=pipe_sw_72, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'language-url'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'urlbuilder', 'id': 'sw-72', 'conf': {'BASE': {'type': 'text', 'value': 'http://ajax.googleapis.com/ajax/services/language/detect'}, 'PARAM': [{'value': {'type': 'text', 'subkey': 'title'}, 'key': {'type': 'text', 'value': 'q'}}, {'value': {'type': 'text', 'value': '1.0'}, 'key': {'type': 'text', 'value': 'v'}}]}}}, 'with': {'type': 'text', 'value': ''}})
sw_142 = pipe_loop(
context, sw_61, embed=pipe_sw_150, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'language'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'assign'}, 'embed': {'type': 'module', 'value': {'type': 'fetchdata', 'id': 'sw-150', 'conf': {'URL': {'type': 'url', 'subkey': 'language-url'}, 'path': {'type': 'text', 'value': 'responseData.language'}}}}, 'with': {'type': 'text', 'value': ''}})
sw_351 = pipe_rename(
context, sw_142, conf={'RULE': [{'field': {'type': 'text', 'value': 'language.0.content'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'description'}}]})
_OUTPUT = pipe_output(
context, sw_351, conf={})
return _OUTPUT
def pipe_975789b47f17690a21e89b10a702bcbd(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'q', u'Status update', u'text', u"Here's #: some #hashtags to play #with")]
if context and context.describe_dependencies:
return [u'pipefilter', u'pipeitembuilder', u'pipeloop', u'pipeoutput', u'piperegex', u'piperename', u'pipestringtokenizer', u'pipetextinput']
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_478(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_stringtokenizer(
context, _INPUT, conf={'to-str': {'type': 'text', 'value': ' '}})
sw_417 = pipe_textinput(
context, forever, conf={'debug': {'type': 'text', 'value': ''}, 'default': {'type': 'text', 'value': "Here's #: some #hashtags to play #with"}, 'prompt': {'type': 'text', 'value': 'Status update'}, 'name': {'type': 'text', 'value': 'q'}, 'position': {'type': 'number', 'value': ''}})
sw_424 = pipe_itembuilder(
context, forever, conf={'attrs': [{'value': {'terminal': 'attrs_1_value', 'type': 'text'}, 'key': {'type': 'text', 'value': 'title'}}]}, attrs_1_value=sw_417)
sw_436 = pipe_filter(
context, sw_424, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': '#'}, 'op': {'type': 'text', 'value': 'contains'}}]})
sw_447 = pipe_regex(
context, sw_436, conf={'RULE': [{'field': {'type': 'text', 'value': 'title'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'match': {'type': 'text', 'value': ' [^#]*'}, 'replace': {'type': 'text', 'value': ' '}}, {'field': {'type': 'text', 'value': 'title'}, 'match': {'type': 'text', 'value': '^[^#]*'}, 'replace': {'type': 'text', 'value': ''}}]})
sw_470 = pipe_loop(
context, sw_447, embed=pipe_sw_478, conf={'assign_part': {'type': 'text', 'value': 'all'}, 'assign_to': {'type': 'text', 'value': 'loop:stringtokenizer'}, 'emit_part': {'type': 'text', 'value': 'all'}, 'mode': {'type': 'text', 'value': 'EMIT'}, 'embed': {'type': 'module', 'value': {'type': 'stringtokenizer', 'id': 'sw-478', 'conf': {'to-str': {'type': 'text', 'value': ' '}}}}, 'with': {'type': 'text', 'value': 'title'}})
sw_490 = pipe_filter(
context, sw_470, conf={'COMBINE': {'type': 'text', 'value': 'and'}, 'MODE': {'type': 'text', 'value': 'permit'}, 'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'value': {'type': 'text', 'value': '#[\\w]'}, 'op': {'type': 'text', 'value': 'matches'}}]})
sw_501 = pipe_rename(
context, sw_490, conf={'RULE': [{'field': {'type': 'text', 'value': 'content'}, 'op': {'type': 'text', 'value': 'rename'}, 'newval': {'type': 'text', 'value': 'title'}}]})
_OUTPUT = pipe_output(
context, sw_501, conf={})
return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetch', u'pipefilter', u'pipeoutput', u'piperegex', u'piperename', u'pipesort', u'pipeunion', u'pipeuniq']
forever = pipe_forever()
sw_135 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Topthemen.xml'}})
sw_233 = pipe_fetch(
context, forever, conf={'URL': {'type': 'url', 'value': 'file://data/rss.sueddeutsche.de_rss_Politik.xml'}})
sw_154 = pipe_union(
context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135)
sw_173 = pipe_uniq(
context, sw_154, conf={'field': {'type': 'text', 'value': 'title'}})
sw_180 = pipe_filter(
context, sw_173, conf={'COMBINE': {'type': 'text', 'value': 'or'}, 'MODE': {'type': 'text', 'value': 'block'}, 'RULE': [{'field': {'type': 'text', 'value': 'link'}, 'value': {'type': 'text', 'value': '/sport/'}, 'op': {'type': 'text', 'value': 'contains'}}, {'field': {'type': 'text', 'value': 'title'}, 'value': {'type': 'text', 'value': 'Bildstrecke:'}, 'op': {'type': 'text', 'value': 'contains'}}]})
sw_210 = pipe_rename(
context, sw_180, conf={'RULE': [{'field': {'type': 'text', 'value': 'y:id.value'}, 'op': {'type': 'text', 'value': 'copy'}, 'newval': {'type': 'text', 'value': 'link'}}]})
sw_195 = pipe_regex(
context, sw_210, conf={'RULE': [{'singlelinematch': {'type': 'text', 'value': '2'}, 'globalmatch': {'type': 'text', 'value': '1'}, 'replace': {'type': 'text', 'value': ''}, 'field': {'type': 'text', 'value': 'description'}, 'casematch': {'type': 'text', 'value': '8'}, 'match': {'type': 'text', 'value': '</div>.*$'}}, {'field': {'type': 'text', 'value': 'link'}, 'match': {'type': 'text', 'value': '^(.*\\/.*)\\/'}, 'replace': {'type': 'text', 'value': '$1/2.220/'}}]})
sw_191 = pipe_sort(
context, sw_195, conf={'KEY': [{'field': {'type': 'text', 'value': 'pubDate'}, 'dir': {'type': 'text', 'value': 'DESC'}}]})
_OUTPUT = pipe_output(
context, sw_191, conf={})
return _OUTPUT
def pipe_eb3e27f8f1841835fdfd279cd96ff9d8(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [
(u'', u'q', u'Caption search term', u'text', u'maverick'),
(u'', u'url', u'Caption URL', u'url',
u'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'
)
]
if context and context.describe_dependencies:
return [
u'pipefetchdata', u'pipefilter', u'pipeoutput', u'piperegex',
u'piperename', u'pipetextinput', u'pipeurlinput'
]
forever = pipe_forever()
sw_521 = pipe_urlinput(
context,
forever,
conf={
'debug': {
'type': 'url',
'value': ''
},
'default': {
'type':
'url',
'value':
'file://data/rsc-ne-scotland.org.uk_mashe_ititle_xml_jisc10bean.xml'
},
'prompt': {
'type': 'text',
'value': 'Caption URL'
},
'name': {
'type': 'text',
'value': 'url'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_572 = pipe_fetchdata(context,
forever,
URL=sw_521,
conf={
'URL': {
'terminal': 'URL',
'type': 'url'
},
'path': {
'type': 'text',
'value': 'body.div.p'
}
})
sw_621 = pipe_textinput(context,
forever,
conf={
'debug': {
'type': 'text',
'value': ''
},
'default': {
'type': 'text',
'value': 'maverick'
},
'prompt': {
'type': 'text',
'value': 'Caption search term'
},
'name': {
'type': 'text',
'value': 'q'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_584 = pipe_filter(context,
sw_572,
RULE_1_value=sw_621,
conf={
'COMBINE': {
'type': 'text',
'value': 'and'
},
'MODE': {
'type': 'text',
'value': 'permit'
},
'RULE': [{
'field': {
'type': 'text',
'value': 'content'
},
'value': {
'terminal': 'RULE_1_value',
'type': 'text'
},
'op': {
'type': 'text',
'value': 'contains'
}
}]
})
sw_595 = pipe_rename(context,
sw_584,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'begin'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'ctime'
}
}, {
'field': {
'type': 'text',
'value': 'content'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'title'
}
}]
})
sw_606 = pipe_regex(context,
sw_595,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'ctime'
},
'match': {
'type': 'text',
'value': '(.*)'
},
'replace': {
'type': 'text',
'value': '&time=$1'
}
}]
})
_OUTPUT = pipe_output(context, sw_606, conf={})
return _OUTPUT
def pipe_UuvYtuMe3hGDsmRgPm7D0g(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'name', u'Name', u'text', u'Lancaster')]
if context and context.describe_dependencies:
return [
u'pipecsv', u'pipefilter', u'pipeloop', u'pipeoutput',
u'piperename', u'pipestrconcat', u'pipetextinput'
]
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_581(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_strconcat(context,
_INPUT,
conf={
'part': [{
'type': 'text',
'subkey': 'firstName'
}, {
'type': 'text',
'value': ' '
}, {
'type': 'text',
'subkey': 'Member'
}]
})
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_408(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_strconcat(
context,
_INPUT,
conf={
'part': [{
'type': 'text',
'value': 'Total allowances claimed, inc travel: '
}, {
'type': 'text',
'subkey': 'TotalAllowancesClaimedIncTravel'
}, {
'type':
'text',
'value':
'<br>Total basic allowances claimed, ex travel: '
}, {
'type': 'text',
'subkey': 'TotalBasicAllowancesExcTravel'
}, {
'type': 'text',
'value': '<br>Total Travel claimed: '
}, {
'type': 'text',
'subkey': 'TotalTravelClaimed'
}, {
'type': 'text',
'value': '<br>MP Mileage: '
}, {
'type': 'text',
'subkey': 'Mileage'
}, {
'type': 'text',
'value': '<br>MP Rail Travel: '
}, {
'type': 'text',
'subkey': 'MPRail'
}, {
'type': 'text',
'value': '<br>MP Air Travel: '
}, {
'type': 'text',
'subkey': 'MPAir'
}, {
'type': 'text',
'value': '<br>Cost of staying away from main home: '
}, {
'type': 'text',
'subkey': 'CostofStayingAwayFromMainHome'
}, {
'type': 'text',
'value': '<br>London Supplement: '
}, {
'type': 'text',
'subkey': 'LondonSupplement'
}, {
'type': 'text',
'value': '<br>Office Running Costs: '
}, {
'type': 'text',
'subkey': 'OfficeRunningCosts'
}, {
'type': 'text',
'value': '<br>Staffing Costs: '
}, {
'type': 'text',
'subkey': 'StaffingCosts'
}]
})
sw_371 = pipe_textinput(context,
forever,
conf={
'debug': {
'type': 'text',
'value': ''
},
'default': {
'type': 'text',
'value': 'Lancaster'
},
'prompt': {
'type': 'text',
'value': 'Name'
},
'name': {
'type': 'text',
'value': 'name'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_340 = pipe_csv(
context,
forever,
conf={
'other_sep': {
'type': 'text',
'value': ''
},
'URL': {
'type':
'url',
'value':
'file://data/spreadsheets.google.com_pub?key=p1rHUqg4g420UMaN1sPvaRg&output=csv&range=a1_AB646.csv'
},
'skip': {
'type': 'number',
'value': '0'
},
'col_name': [{
'type': 'text',
'value': 'Member'
}, {
'type': 'text',
'value': 'firstName'
}, {
'type': 'text',
'value': 'TotalAllowancesClaimedIncTravel'
}, {
'type': 'text',
'value': 'TotalBasicAllowancesExcTravel'
}, {
'type': 'text',
'value': 'TotalTravelClaimed'
}, {
'type': 'text',
'value': 'CostofStayingAwayFromMainHome'
}, {
'type': 'text',
'value': 'LondonSupplement'
}, {
'type': 'text',
'value': 'OfficeRunningCosts'
}, {
'type': 'text',
'value': 'StaffingCosts'
}, {
'type': 'text',
'value': 'CentrallyPurchasedStationery'
}, {
'type': 'text',
'value': 'StationeryAssocdPostageCosts'
}, {
'type': 'text',
'value': 'CentralITProvision'
}, {
'type': 'text',
'value': 'StaffCoverAndOtherCosts'
}, {
'type': 'text',
'value': 'CommsAllowance'
}, {
'type': 'text',
'value': 'Mileage'
}, {
'type': 'text',
'value': 'MPRail'
}, {
'type': 'text',
'value': 'MPAir'
}, {
'type': 'text',
'value': 'MPMisc'
}, {
'type': 'text',
'value': 'MPOtherMileage'
}, {
'type': 'text',
'value': 'MPOtherRail'
}, {
'type': 'text',
'value': 'MPOtherAir'
}, {
'type': 'text',
'value': 'MPOtherEuropean'
}, {
'type': 'text',
'value': 'SpouseTotal'
}, {
'type': 'text',
'value': 'SpouseNumOfJourneys'
}, {
'type': 'text',
'value': 'FamilyTotal'
}, {
'type': 'text',
'value': 'FamilyNumOfJourneys'
}, {
'type': 'text',
'value': 'EmployeeTotal'
}, {
'type': 'text',
'value': 'EmployeeNumOfJourneys'
}],
'col_row_start': {
'type': 'number',
'value': '1'
},
'col_mode': {
'type': 'text',
'value': 'custom'
},
'separator': {
'type': 'text',
'value': ','
},
'col_row_end': {
'type': 'number',
'value': '1'
}
})
sw_375 = pipe_filter(context,
sw_340,
RULE_1_value=sw_371,
conf={
'COMBINE': {
'type': 'text',
'value': 'and'
},
'MODE': {
'type': 'text',
'value': 'permit'
},
'RULE': [{
'field': {
'type': 'text',
'value': 'Member'
},
'value': {
'terminal': 'RULE_1_value',
'type': 'text'
},
'op': {
'type': 'text',
'value': 'contains'
}
}]
})
sw_385 = pipe_rename(context,
sw_375,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'Member'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'title'
}
}]
})
sw_400 = pipe_loop(
context,
sw_385,
embed=pipe_sw_408,
conf={
'assign_part': {
'type': 'text',
'value': 'all'
},
'assign_to': {
'type': 'text',
'value': 'description'
},
'emit_part': {
'type': 'text',
'value': 'all'
},
'mode': {
'type': 'text',
'value': 'assign'
},
'embed': {
'type': 'module',
'value': {
'type': 'strconcat',
'id': 'sw-408',
'conf': {
'part': [{
'type':
'text',
'value':
'Total allowances claimed, inc travel: '
}, {
'type': 'text',
'subkey': 'TotalAllowancesClaimedIncTravel'
}, {
'type':
'text',
'value':
'<br>Total basic allowances claimed, ex travel: '
}, {
'type': 'text',
'subkey': 'TotalBasicAllowancesExcTravel'
}, {
'type': 'text',
'value': '<br>Total Travel claimed: '
}, {
'type': 'text',
'subkey': 'TotalTravelClaimed'
}, {
'type': 'text',
'value': '<br>MP Mileage: '
}, {
'type': 'text',
'subkey': 'Mileage'
}, {
'type': 'text',
'value': '<br>MP Rail Travel: '
}, {
'type': 'text',
'subkey': 'MPRail'
}, {
'type': 'text',
'value': '<br>MP Air Travel: '
}, {
'type': 'text',
'subkey': 'MPAir'
}, {
'type':
'text',
'value':
'<br>Cost of staying away from main home: '
}, {
'type': 'text',
'subkey': 'CostofStayingAwayFromMainHome'
}, {
'type': 'text',
'value': '<br>London Supplement: '
}, {
'type': 'text',
'subkey': 'LondonSupplement'
}, {
'type': 'text',
'value': '<br>Office Running Costs: '
}, {
'type': 'text',
'subkey': 'OfficeRunningCosts'
}, {
'type': 'text',
'value': '<br>Staffing Costs: '
}, {
'type': 'text',
'subkey': 'StaffingCosts'
}]
}
}
},
'with': {
'type': 'text',
'value': ''
}
})
sw_573 = pipe_loop(context,
sw_400,
embed=pipe_sw_581,
conf={
'assign_part': {
'type': 'text',
'value': 'all'
},
'assign_to': {
'type': 'text',
'value': 'title'
},
'emit_part': {
'type': 'text',
'value': 'all'
},
'mode': {
'type': 'text',
'value': 'assign'
},
'embed': {
'type': 'module',
'value': {
'type': 'strconcat',
'id': 'sw-581',
'conf': {
'part': [{
'type': 'text',
'subkey': 'firstName'
}, {
'type': 'text',
'value': ' '
}, {
'type': 'text',
'subkey': 'Member'
}]
}
}
},
'with': {
'type': 'text',
'value': ''
}
})
_OUTPUT = pipe_output(context, sw_573, conf={})
return _OUTPUT
def pipe_e65397e116d7754da0dd23425f1f0af1(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [
u'pipefetch', u'pipeloop', u'pipeoutput', u'piperegex',
u'piperename', u'pipeurlbuilder'
]
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_634(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_urlbuilder(context,
forever,
conf={
'PATH': {
'type': 'text',
'value': ''
},
'BASE': {
'type': 'text',
'value': ''
},
'PARAM': [{
'value': {
'type': 'text',
'value': 'qr'
},
'key': {
'type': 'text',
'value': 'cht'
}
}, {
'value': {
'type': 'text',
'value': '200x200'
},
'key': {
'type': 'text',
'value': 'chs'
}
}, {
'value': {
'type': 'text',
'subkey': 'link'
},
'key': {
'type': 'text',
'value': 'chl'
}
}]
})
sw_565 = pipe_fetch(context,
forever,
conf={'URL': {
'type': 'url',
'value': ''
}})
sw_626 = pipe_loop(context,
sw_565,
embed=pipe_sw_634,
conf={
'assign_part': {
'type': 'text',
'value': 'all'
},
'assign_to': {
'type': 'text',
'value': 'media:content.url'
},
'emit_part': {
'type': 'text',
'value': 'all'
},
'mode': {
'type': 'text',
'value': 'assign'
},
'embed': {
'type': 'module',
'value': {
'type': 'urlbuilder',
'id': 'sw-634',
'conf': {
'PATH': {
'type': 'text',
'value': ''
},
'BASE': {
'type': 'text',
'value': ''
},
'PARAM': [{
'value': {
'type': 'text',
'value': 'qr'
},
'key': {
'type': 'text',
'value': 'cht'
}
}, {
'value': {
'type': 'text',
'value': '200x200'
},
'key': {
'type': 'text',
'value': 'chs'
}
}, {
'value': {
'type': 'text',
'subkey': 'link'
},
'key': {
'type': 'text',
'value': 'chl'
}
}]
}
}
},
'with': {
'type': 'text',
'value': ''
}
})
sw_592 = pipe_rename(context,
sw_626,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'media:content.url'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'description'
}
}]
})
sw_636 = pipe_regex(
context,
sw_592,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'description'
},
'match': {
'type': 'text',
'value': '(.*)'
},
'replace': {
'type': 'text',
'value': '<img src="$1" alt="QRcode" /><br/>${title}'
}
}]
})
_OUTPUT = pipe_output(context, sw_636, conf={})
return _OUTPUT
def pipe_402e244d09a4146cd80421c6628eb6d9(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [u'pipefetchdata', u'pipeoutput', u'piperegex', u'piperename']
forever = pipe_forever()
sw_572 = pipe_fetchdata(
context,
forever,
conf={
'URL': {
'type':
'url',
'value':
'file://data/www.bbc.co.uk_programmes_b006mvlc_episodes_player.xml'
},
'path': {
'type': 'text',
'value': 'episode'
}
})
sw_587 = pipe_rename(context,
sw_572,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'programme.title'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'title'
}
}, {
'field': {
'type': 'text',
'value': 'programme.pid'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'link'
}
}, {
'field': {
'type': 'text',
'value': 'programme.short_synopsis'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'description'
}
}]
})
sw_598 = pipe_regex(context,
sw_587,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'link'
},
'match': {
'type': 'text',
'value': '(.*)'
},
'replace': {
'type': 'text',
'value':
'http://www.bbc.co.uk/programmes/$1'
}
}]
})
_OUTPUT = pipe_output(context, sw_598, conf={})
return _OUTPUT
def pipe_6e30c269a69baf92cd420900b0645f88(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return []
if context and context.describe_dependencies:
return [
u"pipefetch",
u"pipefilter",
u"pipeoutput",
u"piperegex",
u"piperename",
u"pipesort",
u"pipeunion",
u"pipeuniq",
]
forever = pipe_forever()
sw_135 = pipe_fetch(
context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Topthemen.xml"}}
)
sw_233 = pipe_fetch(
context, forever, conf={"URL": {"type": "url", "value": "file://data/rss.sueddeutsche.de_rss_Politik.xml"}}
)
sw_154 = pipe_union(context, forever, _OTHER3=sw_233, conf={}, _OTHER=sw_135)
sw_173 = pipe_uniq(context, sw_154, conf={"field": {"type": "text", "value": "title"}})
sw_180 = pipe_filter(
context,
sw_173,
conf={
"COMBINE": {"type": "text", "value": "or"},
"MODE": {"type": "text", "value": "block"},
"RULE": [
{
"field": {"type": "text", "value": "link"},
"value": {"type": "text", "value": "/sport/"},
"op": {"type": "text", "value": "contains"},
},
{
"field": {"type": "text", "value": "title"},
"value": {"type": "text", "value": "Bildstrecke:"},
"op": {"type": "text", "value": "contains"},
},
],
},
)
sw_210 = pipe_rename(
context,
sw_180,
conf={
"RULE": [
{
"field": {"type": "text", "value": "y:id.value"},
"op": {"type": "text", "value": "copy"},
"newval": {"type": "text", "value": "link"},
}
]
},
)
sw_195 = pipe_regex(
context,
sw_210,
conf={
"RULE": [
{
"singlelinematch": {"type": "text", "value": "2"},
"globalmatch": {"type": "text", "value": "1"},
"replace": {"type": "text", "value": ""},
"field": {"type": "text", "value": "description"},
"casematch": {"type": "text", "value": "8"},
"match": {"type": "text", "value": "</div>.*$"},
},
{
"field": {"type": "text", "value": "link"},
"match": {"type": "text", "value": "^(.*\\/.*)\\/"},
"replace": {"type": "text", "value": "$1/2.220/"},
},
]
},
)
sw_191 = pipe_sort(
context,
sw_195,
conf={"KEY": [{"field": {"type": "text", "value": "pubDate"}, "dir": {"type": "text", "value": "DESC"}}]},
)
_OUTPUT = pipe_output(context, sw_191, conf={})
return _OUTPUT
def pipe_125e9fe8bb5f84526d21bebfec3ad116(context=None,
_INPUT=None,
conf=None,
**kwargs):
# todo: insert pipeline description here
conf = conf or {}
if context and context.describe_input:
return [(u'', u'textinput1', u'Enter Text', u'text', u'defunkt')]
if context and context.describe_dependencies:
return [
u'pipefetchdata', u'pipeitembuilder', u'pipeloop', u'pipeoutput',
u'piperename', u'pipetextinput', u'pipeurlbuilder'
]
forever = pipe_forever()
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_72(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_urlbuilder(context, _INPUT, conf=conf)
# We need to wrap submodules (used by loops) so we can pass the
# input at runtime (as we can to subpipelines)
def pipe_sw_150(context=None, _INPUT=None, conf=None, **kwargs):
# todo: insert submodule description here
return pipe_fetchdata(context, _INPUT, conf=conf)
sw_479 = pipe_textinput(context,
forever,
conf={
'debug': {
'type': 'text',
'value': 'defunkt'
},
'default': {
'type': 'text',
'value': 'defunkt'
},
'prompt': {
'type': 'text',
'value': 'Enter Text'
},
'name': {
'type': 'text',
'value': 'textinput1'
},
'position': {
'type': 'number',
'value': ''
}
})
sw_467 = pipe_itembuilder(context,
forever,
conf={
'attrs': [{
'value': {
'terminal': 'attrs_1_value',
'type': 'text'
},
'key': {
'type': 'text',
'value': 'title'
}
}]
},
attrs_1_value=sw_479)
sw_61 = pipe_loop(context,
sw_467,
embed=pipe_sw_72,
conf={
'assign_part': {
'type': 'text',
'value': 'all'
},
'assign_to': {
'type': 'text',
'value': 'api'
},
'emit_part': {
'type': 'text',
'value': 'all'
},
'mode': {
'type': 'text',
'value': 'assign'
},
'embed': {
'type': 'module',
'value': {
'type': 'urlbuilder',
'id': 'sw-72',
'conf': {
'BASE': {
'type':
'text',
'value':
'https://api.github.com/search/users'
},
'PARAM': [{
'value': {
'type': 'text',
'subkey': 'title'
},
'key': {
'type': 'text',
'value': 'q'
}
}]
}
}
},
'with': {
'type': 'text',
'value': ''
}
})
sw_142 = pipe_loop(context,
sw_61,
embed=pipe_sw_150,
conf={
'assign_part': {
'type': 'text',
'value': 'first'
},
'assign_to': {
'type': 'text',
'value': 'info'
},
'mode': {
'type': 'text',
'value': 'assign'
},
'embed': {
'type': 'module',
'value': {
'type': 'fetchdata',
'id': 'sw-150',
'conf': {
'URL': {
'type': 'url',
'subkey': 'api'
},
'path': {
'type': 'text',
'value': 'items'
}
}
}
},
'with': {
'type': 'text',
'value': ''
}
})
sw_351 = pipe_rename(context,
sw_142,
conf={
'RULE': [{
'field': {
'type': 'text',
'value': 'language.0.content'
},
'op': {
'type': 'text',
'value': 'copy'
},
'newval': {
'type': 'text',
'value': 'description'
}
}]
})
_OUTPUT = pipe_output(context, sw_351, conf={})
return sw_142
