Esempio n. 1
0
 def __iter__(self):
     for line in bz2.BZ2File(self.ifile, 'r'):
         yield tokenizer.tokenize(line)
Esempio n. 2
0
 def __iter__(self):
     for f in self.ifiles:
         with open(f, "r") as document:
             yield tokenizer.tokenize(document.read())
Esempio n. 3
0
 def __iter__(self):
     for line in open(self.ifile, "r"):
         yield tokenizer.tokenize(line)
Esempio n. 4
0
 def __iter__(self):
     for line in bz2.BZ2File(self.ifile, 'r'):
         yield tokenizer.tokenize(line)
Esempio n. 5
0
 def __iter__(self):
     for f in self.ifiles:
         with open(f, "r") as document:
             yield tokenizer.tokenize(document.read())
Esempio n. 6
0
 def __iter__(self):
     for line in open(self.ifile, "r"):
         yield tokenizer.tokenize(line)