def test_tokenizer_with_stem_filter(self):
m = Tokenizer(stem_filter=self.stem_filter)
self.assertEqual([
('テスト', '名詞-サ変接続'),
('データ', '名詞-一般'),
], m.tokenize_smartly('その他テストデータ'))
def test_tokenizer_with_pos_filter(self):
m = Tokenizer(pos_filter=self.pos_filter)
self.assertEqual([
('テスト', '名詞-サ変接続'),
('データ', '名詞-一般'),
], m.tokenize_smartly('テストのデータ'))
def test_tokenizer(self):
m = Tokenizer()
self.assertEqual([
('テスト', '名詞-サ変接続'),
('データ', '名詞-一般'),
], m.tokenize_smartly('テストデータ'))