Esempio n. 1
0
 def getTermByToken(self, token):
     key = untokenize(token)
     return self.getTerm(key)
Esempio n. 2
0
 def test_simple_stream(self):
     result = untokenize(tokenize("abc"))
     self.assertEqual(result, "abc")
Esempio n. 3
0
 def test_utf8_stream(self):
     result = untokenize(tokenize("äöü"))
     self.assertEqual(result, "äöü")
Esempio n. 4
0
 def test_empty_string(self):
     result = untokenize(tokenize(""))
     self.assertEqual(result, "")