Python SpaceTokenizer 예제들

예제 #1

 def testSpaceTokenizer(self):
     self._testTokenizer(SpaceTokenizer(), "Hello world !",
                         ["Hello", "world", "!"])
     self._testDetokenizer(
         SpaceTokenizer(),
         [["Hello", "world", "!"], ["Test"], ["My", "name"]],
         ["Hello world !", "Test", "My name"])

예제 #2

파일: tokenizer_test.py 프로젝트: zerkh/OpenNMT-tf

 def testSpaceTokenizer(self):
     self._testTokenizer(SpaceTokenizer(), "Hello world !",
                         ["Hello", "world", "!"])