Python _join_tokens_to_string 예제들

예제 #1

  def test_join_tokens_to_string(self):
    tokens = ["test", "? ", "testing", "123", "."]

    s = tokenizer._join_tokens_to_string(tokens)
    self.assertEqual("test? testing 123.", s)

예제 #2

파일: tokenizer_test.py 프로젝트: 812864539/models

  def test_join_tokens_to_string(self):
    tokens = ["test", "? ", "testing", "123", "."]

    s = tokenizer._join_tokens_to_string(tokens)
    self.assertEqual("test? testing 123.", s)