class VocabularyTest(unittest.TestCase): def setUp(self): self.vocabulary = Vocabulary() self.vocabulary.load('testdata/vocabulary.dat', 'testdata/custom_words') pprint.pprint(self.vocabulary.trie) pprint.pprint(self.vocabulary.words) def test_vocabulary(self): self.assertIn(u'英雄三国', self.vocabulary.words.keys()) self.assertIn(u'魔鬼代言人', self.vocabulary.words.keys()) self.assertIn(u'黄河水利委员会', self.vocabulary.words.keys()) self.assertNotIn(u'十大伪歌手', self.vocabulary.words.keys()) self.assertNotIn(u'走路太牛', self.vocabulary.words.keys()) self.assertEqual('n', self.vocabulary.get_pos(u'英雄三国')) self.assertEqual('n', self.vocabulary.get_pos(u'魔鬼代言人')) self.assertEqual('nt', self.vocabulary.get_pos(u'黄河水利委员会')) self.assertEqual('UNK', self.vocabulary.get_pos(u'十大伪歌手')) self.assertEqual('UNK', self.vocabulary.get_pos(u'走路太牛')) def test_gen_DAG(self): pprint.pprint(self.vocabulary.gen_DAG( u'《英雄三国》是由网易历时四年自主研发运营的一款英雄对战竞技网游。'))