Exemplos de tokenize_primary em Python

Exemplo n.º 1

Arquivo: testexport.py Projeto: aymara/verbenet-editor

 def test_preposition(self):
     self.assertEqual(list(tokenize_primary("NP V de V-inf")), ["NP", "V", {"de"}, "V-inf"])

Exemplo n.º 2

Arquivo: testexport.py Projeto: aymara/verbenet-editor

 def test_qu(self):
     self.assertEqual(list(tokenize_primary("NP V Qu Psubj")), ["NP", "V", "Qu", "Psubj"])

Exemplo n.º 3

Arquivo: testexport.py Projeto: aymara/verbenet-editor

 def test_simple_split(self):
     self.assertEqual(list(tokenize_primary("NP V NP")), ["NP", "V", "NP"])