Python SimpleBayes.tokenizer Beispiele

Beispiel #1

Datei: __init__.py Projekt: tnorth/simplebayes

 def test_tokenizer(self):
     sb = SimpleBayes()
     result = sb.tokenizer('hello world')
     self.assertEqual(result, ['hello', 'world'])

Beispiel #2

Datei: __init__.py Projekt: davidblewett/simplebayes

 def test_tokenizer(self):
     sb = SimpleBayes()
     result = sb.tokenizer('hello world')
     self.assertEqual(result, ['hello', 'world'])