Ejemplos de QgramTokenizer.set_suffix_pad en Python

Ejemplo n.º 1

Archivo: test_tokenizers.py Proyecto: wynksaiddestroy/py_stringmatching

 def test_set_suffix_pad(self):
     tok = QgramTokenizer()
     self.assertEqual(tok.get_suffix_pad(), '$')
     self.assertEqual(
         tok.tokenize('database'),
         ['#d', 'da', 'at', 'ta', 'ab', 'ba', 'as', 'se', 'e$'])
     tok.set_suffix_pad('!')
     self.assertEqual(tok.get_suffix_pad(), '!')
     self.assertEqual(
         tok.tokenize('database'),
         ['#d', 'da', 'at', 'ta', 'ab', 'ba', 'as', 'se', 'e!'])

Ejemplo n.º 2

Archivo: test_tokenizers.py Proyecto: wynksaiddestroy/py_stringmatching

 def test_set_suffix_pad_invalid2(self):
     qg = QgramTokenizer()
     qg.set_suffix_pad('###')

Ejemplo n.º 3

Archivo: test_tokenizers.py Proyecto: wynksaiddestroy/py_stringmatching

 def test_set_suffix_pad_invalid1(self):
     qg = QgramTokenizer()
     qg.set_suffix_pad(10)