Exemplos de _split_string_to_tokens em Python

Exemplo n.º 1

  def test_split_string_to_tokens(self):
    text = "test? testing 123."

    tokens = tokenizer._split_string_to_tokens(text)
    self.assertEqual(["test", "? ", "testing", "123", "."], tokens)

Exemplo n.º 2

Arquivo: tokenizer_test.py Projeto: 812864539/models

  def test_split_string_to_tokens(self):
    text = "test? testing 123."

    tokens = tokenizer._split_string_to_tokens(text)
    self.assertEqual(["test", "? ", "testing", "123", "."], tokens)