def test_set_qval(self): tok = QgramTokenizer(padding=False) self.assertEqual(tok.get_qval(), 2) self.assertEqual(tok.tokenize('database'), ['da', 'at', 'ta', 'ab', 'ba', 'as', 'se']) self.assertEqual(tok.set_qval(3), True) self.assertEqual(tok.get_qval(), 3) self.assertEqual(tok.tokenize('database'), ['dat', 'ata', 'tab', 'aba', 'bas', 'ase']) tok = QgramTokenizer() self.assertEqual(tok.get_qval(), 2) self.assertEqual( tok.tokenize('database'), ['#d', 'da', 'at', 'ta', 'ab', 'ba', 'as', 'se', 'e$']) self.assertEqual(tok.set_qval(3), True) self.assertEqual(tok.get_qval(), 3) self.assertEqual(tok.tokenize('database'), [ '##d', '#da', 'dat', 'ata', 'tab', 'aba', 'bas', 'ase', 'se$', 'e$$' ])
def test_set_qval_invalid(self): qg_tok = QgramTokenizer() qg_tok.set_qval(0)