Python Tokenizer.characters примеры использования

Пример #1

Файл: test_tokenizer.py Проект: bambooforest/tokenizer-old

    def test_characters(self):
        t = Tokenizer()
        result = t.characters("Màttís List")
        self.assertEqual(result, "M a ̀ t t i ́ s # L i s t")

        t = Tokenizer("test.prf", "test.rules")
        result = t.characters("Màttís List")
        self.assertEqual(result, "M a ̀ t t i ́ s # L i s t")