Exemplo n.º 1
0
 def getTermByToken(self, token):
     key = untokenize(token)
     return self.getTerm(key)
Exemplo n.º 2
0
 def test_simple_stream(self):
     result = untokenize(tokenize("abc"))
     self.assertEqual(result, "abc")
Exemplo n.º 3
0
 def test_utf8_stream(self):
     result = untokenize(tokenize("äöü"))
     self.assertEqual(result, "äöü")
Exemplo n.º 4
0
 def test_empty_string(self):
     result = untokenize(tokenize(""))
     self.assertEqual(result, "")