コード例 #1
0
ファイル: ddfs.py プロジェクト: nicolasramy/disco 
 def chunk_iter(replicas):
     chunker = Chunker(chunk_size=chunk_size, max_record_size=max_record_size)
     return chunker.chunks(result_iterator([replicas], **kwargs))
コード例 #2
0
ファイル: ddfs.py プロジェクト: wquan/disco 
 def chunk_iter(replicas):
     chunker = Chunker(chunk_size=chunk_size)
     return chunker.chunks(classic_iterator([replicas], **kwargs))
コード例 #3
0
 def chunk_iter(replicas):
     chunker = Chunker(chunk_size=chunk_size)
     return chunker.chunks(classic_iterator([replicas], **kwargs))
コード例 #4
0
 def test_less_than_a_hunk(self):
     records = _sizelimitedinput(HUNK_SIZE / 2)
     chunker = Chunker(chunk_size=HUNK_SIZE * 2)
     chunks = list(chunker.chunks(records))
     self.assertEqual(len(chunks), 1)
コード例 #5
0
 def test_more_than_a_hunk(self):
     chunk_size = HUNK_SIZE * 2
     records = _sizelimitedinput(chunk_size)
     chunker = Chunker(chunk_size=chunk_size)
     chunks = list(chunker.chunks(records))
     self.assertEqual(len(chunks), 1)
コード例 #6
0
ファイル: test_chunker.py プロジェクト: AlexArgus/disco 
 def test_more_than_a_hunk(self):
     chunk_size = HUNK_SIZE * 2
     records = _sizelimitedinput(chunk_size)
     chunker = Chunker(chunk_size=chunk_size)
     chunks = list(chunker.chunks(records))
     self.assertEqual(len(chunks), 1)
コード例 #7
0
ファイル: test_chunker.py プロジェクト: AlexArgus/disco 
 def test_less_than_a_hunk(self):
     records = _sizelimitedinput(HUNK_SIZE / 2)
     chunker = Chunker(chunk_size=HUNK_SIZE * 2)
     chunks = list(chunker.chunks(records))
     self.assertEqual(len(chunks), 1)
コード例 #8
0
ファイル: core.py プロジェクト: mshron/disco 
 def __iter__(self):
     chunker = Chunker(chunk_size=self.chunk_size)
     for chunk in chunker.chunks(RecordIter([self.url], **self.kwargs)):
         yield chunk
コード例 #9
0
 def chunk_iter(replicas):
     chunker = Chunker(chunk_size=chunk_size,
                       max_record_size=max_record_size)
     return chunker.chunks(result_iterator([replicas], **kwargs))
コード例 #10
0
ファイル: core.py プロジェクト: JensRantil/disco 
 def __iter__(self):
     chunker = Chunker(chunk_size=self.chunk_size)
     for chunk in chunker.chunks(RecordIter([self.url], **self.kwargs)):
         yield chunk