Exemplo n.º 1
0
Arquivo: parsers.py Projeto: ICCV/mimr
 def _pure_tokenize_content(self):
     if self._tokenized_content is None:
         self._tokenized_content = TextPreprocesser.tokenizor(self.content)
     return self._tokenized_content
Exemplo n.º 2
0
Arquivo: parsers.py Projeto: ICCV/mimr
 def _pure_tokenize_title(self):
     if self._tokenized_title is None:
         self._tokenized_title = TextPreprocesser.tokenizor(self.title)
     return self._tokenized_title