DEFAULT_TABLE = { 'skip_head_lines':0, 'format':'csv', 'field_sep':',', 'quotechar':'"', 'copy_every':25, 'udcs':{ }, } SITES_PLAIN = dict(DEFAULT_TABLE) SITES_PLAIN.update({ 'table':'pages_for_class', 'filename':'/home/gaertner/code/candclass/search_results.csv', 'field_sep':',', 'columns':{ 'uid':1, 'class':4, ('sitetext','website'):{'function':get_page_for_class,'columns':(2,)}, }, }) ERSATZPG_CONFIG.update({ 'use_utf':False, 'tables':{ #'sites_ajax':SITES_AJAX, 'pages_for_class':SITES_PLAIN, }, #'parallel_load':({'tables':('sites_ajax','sites_plain'),'keys':{}},), 'parallel_load':(), 'key_sources':{}, })
'field_sep':',', 'columns':{ 'uid':1, 'website':2, 'sitetext':{'function':getajax,'columns':(2,)}, }, }) """ SITES_PLAIN = dict(DEFAULT_TABLE) SITES_PLAIN.update({ 'table':'frame_sites_plain', 'filename':'/home/gaertner/code/candclass/webpages.csv', 'field_sep':',', 'columns':{ 'uid':1, 'website':2, 'sitetext':{'function':getframedata,'columns':(2,)}, }, }) ERSATZPG_CONFIG.update({ 'use_utf':False, 'tables':{ #'sites_ajax':SITES_AJAX, 'frame_sites_plain':SITES_PLAIN, }, #'parallel_load':({'tables':('sites_ajax','sites_plain'),'keys':{}},), 'parallel_load':(), 'key_sources':{}, })
'skip_head_lines':0, 'format':'csv', 'field_sep':',', 'quotechar':'"', 'copy_every':100, 'udcs':{ }, } NON_SITES = dict(DEFAULT_TABLE) NON_SITES.update({ 'table':'non_sites_plain', 'filename':'/home/gaertner/code/candclass/nonwebpages.csv', 'field_sep':',', 'columns':{ 'uid':1, 'webpage':2, tuple('sitetext{i}'.format(i=i) for i in range(1,num_sites*len(search_results)+1)):{'function':get_non_sites,'columns':(2,3)}, }, }) ERSATZPG_CONFIG.update({ # 'use_utf':True, 'tables':{ 'non_sites_plain':NON_SITES, }, 'parallel_load':(), 'key_sources':{}, })