コード例 #1
0
ファイル: basic_counts_p.py プロジェクト: urras/bluesmote 
def main(input, output, num_workers):
    fnames = reader.smart_find_logs(input)
    
    pipeline.pool(fnames, util.identity, local_reducer, global_reducer, num_workers)
        
    dump_counts(global_counts, output)
コード例 #2
0
def main(input, output, num_workers):
    fnames = reader.smart_find_logs(input)        
    roller = util.rollover(output)
    pipeline.pool(fnames, mapper, util.identity, roller.writelines, num_workers)