コード例 #1
0
ファイル: parsers.py プロジェクト: ICCV/mimr 
 def gen_tokenized_content(self):
     tokens = self._pure_tokenize_content()
     tokens = TextPreprocesser.filter(tokens)
     return tokens
コード例 #2
0
ファイル: parsers.py プロジェクト: ICCV/mimr 
 def gen_tokenized_title(self):
     tokens = self._pure_tokenize_title()
     tokens = TextPreprocesser.filter(tokens)
     return tokens