Ejemplos de Tokenizer en Python

Ejemplo n.º 1

Archivo: test_tokenizer.py Proyecto: xrotwang/orthotokenizer

    def test_graphemes(self):
        t = Tokenizer()
        result = t.graphemes("Màttís List")
        self.assertEqual(result, "M à t t í s # L i s t")

        result = self.t.graphemes("Màttís List")
        self.assertEqual(result, "M à tt í s # ? ? s ?")

Ejemplo n.º 2

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

    def test_graphemes(self):
        t = Tokenizer()
        result = t.graphemes("aabchonn-ih")
        self.assertEqual(result, "a a b c h o n n - i h")

        result = self.t.graphemes("aabchonn-ih")
        self.assertEqual(result, "aa b ch on n - ih")

Ejemplo n.º 3

Archivo: test_tokenizer.py Proyecto: xrotwang/orthotokenizer

    def test_characters(self):
        t = Tokenizer()
        result = t.characters("Màttís List")
        self.assertEqual(result, "M a ̀ t t i ́ s # L i s t")

        result = self.t.characters("Màttís List")
        self.assertEqual(result, "M a ̀ t t i ́ s # L i s t")

Ejemplo n.º 4

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

    def test_graphemes(self):
        t = Tokenizer()
        result = t.graphemes("aabchonn-ih")
        self.assertEqual(result, "a a b c h o n n - i h")

        result = self.t.graphemes("aabchonn-ih")
        self.assertEqual(result, "aa b ch on n - ih")

Ejemplo n.º 5

Archivo: test_tokenizer.py Proyecto: xrotwang/orthotokenizer

class TokenizerTestCase(unittest.TestCase):
    """ Tests for tokenizer.py """

    def setUp(self):
        self.t = Tokenizer(os.path.join(os.path.dirname(__file__), 'test.prf'))

    def test_printTree(self):
        self.t.tree.printTree(self.t.tree.root)
        printMultigraphs(self.t.tree.root, '', '')
        printMultigraphs(self.t.tree.root, 'abcd', '')

    def test_characters(self):
        t = Tokenizer()
        result = t.characters("Màttís List")
        self.assertEqual(result, "M a ̀ t t i ́ s # L i s t")

        result = self.t.characters("Màttís List")
        self.assertEqual(result, "M a ̀ t t i ́ s # L i s t")

    def test_graphemes(self):
        t = Tokenizer()
        result = t.graphemes("Màttís List")
        self.assertEqual(result, "M à t t í s # L i s t")

        result = self.t.graphemes("Màttís List")
        self.assertEqual(result, "M à tt í s # ? ? s ?")

    def test_grapheme_clusters(self):
        result = self.t.grapheme_clusters("Màttís List")
        self.assertEqual(result, "M à t t í s # L i s t")
        
    def test_transform1(self):
        result = self.t.transform("Màttís List")
        self.assertEqual(result, "M à tt í s # ? ? s ?")

    def test_transform2(self):
        result = self.t.transform("Màttís List", 'ipa')
        self.assertEqual(result, "m a tː i s # ? ? s ?")

    def test_transform3(self):
        result = self.t.transform("Màttís List", 'funny')
        self.assertEqual(result, "J e l n a # ? ? a ?")

    def test_rules(self):
        result = self.t.rules("Màttís List")
        self.assertEqual(result, "Jelena")

    def test_transform_rules(self):
        result = self.t.transform_rules("Màttís List")
        self.assertEqual(result, "M à e l ?")

    def test_find_missing_characters(self):
        result = self.t.find_missing_characters("L i s t")
        self.assertEqual(result, "? ? s ?")

    def test_tokenize_ipa(self):
        t = Tokenizer()
        t.tokenize_ipa("Màttís List")

Ejemplo n.º 6

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

 def test_kabiye(self):
     t = Tokenizer()
     input, gold = jipa("Kabiye_input.txt", "Kabiye_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)

Ejemplo n.º 7

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

 def setUp(self):
     self.t = Tokenizer(_test_path('test.prf'))

Ejemplo n.º 8

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

class TokenizerTestCase(unittest.TestCase):
    """ Tests for tokenizer.py """
    maxDiff = None # for printing large output

    def setUp(self):
        self.t = Tokenizer(_test_path('test.prf'))

    def test_printTree(self):
        self.t.tree.printTree(self.t.tree.root)
        printMultigraphs(self.t.tree.root, '', '')
        printMultigraphs(self.t.tree.root, 'abcd', '')

    def test_kabiye(self):
        t = Tokenizer()
        input, gold = jipa("Kabiye_input.txt", "Kabiye_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_portuguese(self):
        t = Tokenizer()
        input, gold = jipa("Brazilian_Portuguese_input.txt", "Brazilian_Portuguese_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_vietnamese(self):
        t = Tokenizer()
        input, gold = jipa("Vietnamese_input.txt", "Vietnamese_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_german(self):
        t = Tokenizer()
        input, gold = jipa("Zurich_German_input.txt", "Zurich_German_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_characters(self):
        t = Tokenizer()
        result = t.characters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
        self.assertEqual(result, "c ̂ h a ́ ɾ a ̃ ̌ c t ʼ ɛ ↗ ʐ ː | # k ͡ p")

    def test_grapheme_clusters(self):
        t = Tokenizer()
        result = t.grapheme_clusters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
        self.assertEqual(result, "ĉ h á ɾ ã̌ c t ʼ ɛ ↗ ʐ ː | # k͡ p")
        
    def test_graphemes(self):
        t = Tokenizer()
        result = t.graphemes("aabchonn-ih")
        self.assertEqual(result, "a a b c h o n n - i h")

        result = self.t.graphemes("aabchonn-ih")
        self.assertEqual(result, "aa b ch on n - ih")

    def test_transform1(self):
        result = self.t.transform("aabchonn-ih")
        self.assertEqual(result, "aa b ch on n - ih")

    def test_transform2(self):
        result = self.t.transform("aabchonn-ih", "ipa")
        self.assertEqual(result, "aː b tʃ õ n í")

    def test_transform3(self):
        result = self.t.transform("aabchonn-ih", "XSAMPA")
        self.assertEqual(result, "a: b tS o~ n i_H")

    def test_rules(self):
        result = self.t.rules("aabchonn-ih")
        self.assertEqual(result, "ii-ii")

    def test_transform_rules(self):
        result = self.t.transform_rules("aabchonn-ih")
        self.assertEqual(result, "b b ii - ii")

    def test_find_missing_characters(self):
        result = self.t.find_missing_characters("aa b ch on n - ih x y z")
        self.assertEqual(result, "aa b ch on n - ih ? ? ?")

Ejemplo n.º 9

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

 def test_portuguese(self):
     t = Tokenizer()
     input, gold = jipa("Brazilian_Portuguese_input.txt",
                        "Brazilian_Portuguese_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)

Ejemplo n.º 10

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

 def test_grapheme_clusters(self):
     t = Tokenizer()
     result = t.grapheme_clusters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
     self.assertEqual(result, "ĉ h á ɾ ã̌ c t ʼ ɛ ↗ ʐ ː | # k͡ p")

Ejemplo n.º 11

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

 def test_german(self):
     t = Tokenizer()
     input, gold = jipa("Zurich_German_input.txt", "Zurich_German_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)

Ejemplo n.º 12

Archivo: test_tokenizer.py Proyecto: xrotwang/orthotokenizer

 def setUp(self):
     self.t = Tokenizer(os.path.join(os.path.dirname(__file__), 'test.prf'))

Ejemplo n.º 13

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

 def test_grapheme_clusters(self):
     t = Tokenizer()
     result = t.grapheme_clusters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
     self.assertEqual(result, "ĉ h á ɾ ã̌ c t ʼ ɛ ↗ ʐ ː | # k͡ p")

Ejemplo n.º 14

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

 def test_characters(self):
     t = Tokenizer()
     result = t.characters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
     self.assertEqual(result, "c ̂ h a ́ ɾ a ̃ ̌ c t ʼ ɛ ↗ ʐ ː | # k ͡ p")

Ejemplo n.º 15

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

 def test_german(self):
     t = Tokenizer()
     input, gold = jipa("Zurich_German_input.txt",
                        "Zurich_German_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)

Ejemplo n.º 16

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

 def test_vietnamese(self):
     t = Tokenizer()
     input, gold = jipa("Vietnamese_input.txt", "Vietnamese_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)

Ejemplo n.º 17

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

 def test_portuguese(self):
     t = Tokenizer()
     input, gold = jipa("Brazilian_Portuguese_input.txt", "Brazilian_Portuguese_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)

Ejemplo n.º 18

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

 def test_vietnamese(self):
     t = Tokenizer()
     input, gold = jipa("Vietnamese_input.txt", "Vietnamese_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)

Ejemplo n.º 19

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

 def setUp(self):
     self.t = Tokenizer(_test_path('test.prf'))

Ejemplo n.º 20

Archivo: test_tokenizer.py Proyecto: FrankNagel/orthotokenizer

 def test_characters(self):
     t = Tokenizer()
     result = t.characters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
     self.assertEqual(result, "c ̂ h a ́ ɾ a ̃ ̌ c t ʼ ɛ ↗ ʐ ː | # k ͡ p")

Ejemplo n.º 21

Archivo: test_tokenizer.py Proyecto: xrotwang/orthotokenizer

 def test_tokenize_ipa(self):
     t = Tokenizer()
     t.tokenize_ipa("Màttís List")

Ejemplo n.º 22

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

class TokenizerTestCase(unittest.TestCase):
    """ Tests for tokenizer.py """
    maxDiff = None  # for printing large output

    def setUp(self):
        self.t = Tokenizer(_test_path('test.prf'))

    def test_printTree(self):
        self.t.tree.printTree(self.t.tree.root)
        printMultigraphs(self.t.tree.root, '', '')
        printMultigraphs(self.t.tree.root, 'abcd', '')

    def test_kabiye(self):
        t = Tokenizer()
        input, gold = jipa("Kabiye_input.txt", "Kabiye_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_portuguese(self):
        t = Tokenizer()
        input, gold = jipa("Brazilian_Portuguese_input.txt",
                           "Brazilian_Portuguese_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_vietnamese(self):
        t = Tokenizer()
        input, gold = jipa("Vietnamese_input.txt", "Vietnamese_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_german(self):
        t = Tokenizer()
        input, gold = jipa("Zurich_German_input.txt",
                           "Zurich_German_output.txt")
        result = t.tokenize_ipa(input)
        self.assertEqual(result, gold)

    def test_characters(self):
        t = Tokenizer()
        result = t.characters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
        self.assertEqual(result, "c ̂ h a ́ ɾ a ̃ ̌ c t ʼ ɛ ↗ ʐ ː | # k ͡ p")

    def test_grapheme_clusters(self):
        t = Tokenizer()
        result = t.grapheme_clusters("ĉháɾã̌ctʼɛ↗ʐː| k͡p")
        self.assertEqual(result, "ĉ h á ɾ ã̌ c t ʼ ɛ ↗ ʐ ː | # k͡ p")

    def test_graphemes(self):
        t = Tokenizer()
        result = t.graphemes("aabchonn-ih")
        self.assertEqual(result, "a a b c h o n n - i h")

        result = self.t.graphemes("aabchonn-ih")
        self.assertEqual(result, "aa b ch on n - ih")

    def test_transform1(self):
        result = self.t.transform("aabchonn-ih")
        self.assertEqual(result, "aa b ch on n - ih")

    def test_transform2(self):
        result = self.t.transform("aabchonn-ih", "ipa")
        self.assertEqual(result, "aː b tʃ õ n í")

    def test_transform3(self):
        result = self.t.transform("aabchonn-ih", "XSAMPA")
        self.assertEqual(result, "a: b tS o~ n i_H")

    def test_rules(self):
        result = self.t.rules("aabchonn-ih")
        self.assertEqual(result, "ii-ii")

    def test_transform_rules(self):
        result = self.t.transform_rules("aabchonn-ih")
        self.assertEqual(result, "b b ii - ii")

    def test_find_missing_characters(self):
        result = self.t.find_missing_characters("aa b ch on n - ih x y z")
        self.assertEqual(result, "aa b ch on n - ih ? ? ?")

Ejemplo n.º 23

Archivo: test_tokenizer.py Proyecto: bambooforest/orthotokenizer

 def test_kabiye(self):
     t = Tokenizer()
     input, gold = jipa("Kabiye_input.txt", "Kabiye_output.txt")
     result = t.tokenize_ipa(input)
     self.assertEqual(result, gold)