Exemplos de Preprocessor.tokenizer em Python

Exemplo n.º 1

Arquivo: TestPreprocessor.py Projeto: Zhiyu-Chen/irlib

 def test_tokenizer_lower(self):
     p = Preprocessor(lower=True, stem=False)
     tokens = p.tokenizer('This is IRLib')
     self.assertEqual(tokens,['this','is','irlib'])

Exemplo n.º 2

Arquivo: TestPreprocessor.py Projeto: vatsrahul/irlib

 def test_tokenizer_lower(self):
     p = Preprocessor(lower=True, stem=False)
     tokens = p.tokenizer('This is IRLib')
     self.assertEqual(tokens, ['this', 'is', 'irlib'])