Exemplos de Tokenizer.by_name em Python

Exemplo n.º 1

Arquivo: registrable_test.py Projeto: wangzhiwei-ai/allennlp

 def test_registry_has_builtin_tokenizers(self):
     assert Tokenizer.by_name('word').__name__ == 'WordTokenizer'
     assert Tokenizer.by_name('character').__name__ == 'CharacterTokenizer'

Exemplo n.º 2

Arquivo: registrable_test.py Projeto: Jordan-Sauchuk/allennlp

 def test_registry_has_builtin_tokenizers(self):
     assert Tokenizer.by_name('word').__name__ == 'WordTokenizer'
     assert Tokenizer.by_name('character').__name__ == 'CharacterTokenizer'

Exemplo n.º 3

 def test_registry_has_builtin_tokenizers(self):
     assert Tokenizer.by_name("spacy").__name__ == "SpacyTokenizer"
     assert Tokenizer.by_name("character").__name__ == "CharacterTokenizer"

Exemplo n.º 4

Arquivo: registrable_test.py Projeto: danielkorat/allennlp-dm-parse-probs

 def test_registry_has_builtin_tokenizers(self):
     assert Tokenizer.by_name("word").__name__ == "WordTokenizer"
     assert Tokenizer.by_name("character").__name__ == "CharacterTokenizer"