def test_set_suffix_pad(self): tok = QgramTokenizer() self.assertEqual(tok.get_suffix_pad(), '$') self.assertEqual( tok.tokenize('database'), ['#d', 'da', 'at', 'ta', 'ab', 'ba', 'as', 'se', 'e$']) tok.set_suffix_pad('!') self.assertEqual(tok.get_suffix_pad(), '!') self.assertEqual( tok.tokenize('database'), ['#d', 'da', 'at', 'ta', 'ab', 'ba', 'as', 'se', 'e!'])
def test_set_suffix_pad_invalid2(self): qg = QgramTokenizer() qg.set_suffix_pad('###')
def test_set_suffix_pad_invalid1(self): qg = QgramTokenizer() qg.set_suffix_pad(10)