Esempio n. 1
0
File: parsers.py Progetto: ICCV/mimr 
 def gen_tokenized_content(self):
     tokens = self._pure_tokenize_content()
     tokens = TextPreprocesser.filter(tokens)
     return tokens
Esempio n. 2
0
File: parsers.py Progetto: ICCV/mimr 
 def gen_tokenized_title(self):
     tokens = self._pure_tokenize_title()
     tokens = TextPreprocesser.filter(tokens)
     return tokens