コード例 #1
0
ファイル: batch.py プロジェクト: symroe/addok 
def batch(iterable):
    parallelize(process,
                iterable,
                prefix='Importing…',
                chunk_size=20000,
                throttle=500)
コード例 #2
0
ファイル: autocomplete.py プロジェクト: phreephree/addok 
def create_edge_ngrams(*args):
    pattern = '{}*'.format(dbkeys.TOKEN_PREFIX)
    parallelize(index_ngram_keys,
                DB.scan_iter(match=pattern),
                chunk_size=10000,
                throttle=1000)
コード例 #3
0
def batch(iterable):
    parallelize(process_documents,
                iterable,
                chunk_size=config.BATCH_CHUNK_SIZE,
                throttle=timedelta(seconds=1))
コード例 #4
0
ファイル: autocomplete.py プロジェクト: magopian/addok 
def create_edge_ngrams(*args):
    parallelize(index_ngram_key,
                DB.scan_iter(match='w|*'),
                prefix="Computing ngrams",
                throttle=1000)
コード例 #5
0
ファイル: batch.py プロジェクト: digideskio/addok 
def batch(iterable):
    parallelize(process, iterable, prefix='Importing…', chunk_size=20000,
                throttle=500)
コード例 #6
0
ファイル: autocomplete.py プロジェクト: digideskio/addok 
def create_edge_ngrams(*args):
    parallelize(index_ngram_key, DB.scan_iter(match='w|*'),
                prefix="Computing ngrams", throttle=1000)
コード例 #7
0
def create_edge_ngrams(*args):
    parallelize(index_ngram_keys,
                DB.scan_iter(match='w|*'),
                chunk_size=10000,
                throttle=1000)