コード例 #1
0
ファイル: parsers.py プロジェクト: ICCV/mimr
 def _pure_tokenize_content(self):
     if self._tokenized_content is None:
         self._tokenized_content = TextPreprocesser.tokenizor(self.content)
     return self._tokenized_content
コード例 #2
0
ファイル: parsers.py プロジェクト: ICCV/mimr
 def _pure_tokenize_title(self):
     if self._tokenized_title is None:
         self._tokenized_title = TextPreprocesser.tokenizor(self.title)
     return self._tokenized_title