DEFAULT_TABLE = {
'skip_head_lines':0,
'format':'csv',
'field_sep':',',
'quotechar':'"',
'copy_every':25,
'udcs':{
},
}
SITES_PLAIN = dict(DEFAULT_TABLE)
SITES_PLAIN.update({
'table':'pages_for_class',
'filename':'/home/gaertner/code/candclass/search_results.csv',
'field_sep':',',
'columns':{
'uid':1,
'class':4,
('sitetext','website'):{'function':get_page_for_class,'columns':(2,)},
},
})
ERSATZPG_CONFIG.update({
'use_utf':False,
'tables':{
#'sites_ajax':SITES_AJAX,
'pages_for_class':SITES_PLAIN,
},
#'parallel_load':({'tables':('sites_ajax','sites_plain'),'keys':{}},),
'parallel_load':(),
'key_sources':{},
})
'field_sep':',',
'columns':{
'uid':1,
'website':2,
'sitetext':{'function':getajax,'columns':(2,)},
},
})
"""
SITES_PLAIN = dict(DEFAULT_TABLE)
SITES_PLAIN.update({
'table':'frame_sites_plain',
'filename':'/home/gaertner/code/candclass/webpages.csv',
'field_sep':',',
'columns':{
'uid':1,
'website':2,
'sitetext':{'function':getframedata,'columns':(2,)},
},
})
ERSATZPG_CONFIG.update({
'use_utf':False,
'tables':{
#'sites_ajax':SITES_AJAX,
'frame_sites_plain':SITES_PLAIN,
},
#'parallel_load':({'tables':('sites_ajax','sites_plain'),'keys':{}},),
'parallel_load':(),
'key_sources':{},
})
'skip_head_lines':0,
'format':'csv',
'field_sep':',',
'quotechar':'"',
'copy_every':100,
'udcs':{
},
}
NON_SITES = dict(DEFAULT_TABLE)
NON_SITES.update({
'table':'non_sites_plain',
'filename':'/home/gaertner/code/candclass/nonwebpages.csv',
'field_sep':',',
'columns':{
'uid':1,
'webpage':2,
tuple('sitetext{i}'.format(i=i) for i in range(1,num_sites*len(search_results)+1)):{'function':get_non_sites,'columns':(2,3)},
},
})
ERSATZPG_CONFIG.update({
# 'use_utf':True,
'tables':{
'non_sites_plain':NON_SITES,
},
'parallel_load':(),
'key_sources':{},
})
