Exemplos de Tokenizer.tokenize em Python

Exemplo n.º 1

    def test_cowncasting(self):
        expectation = ['this', 'is', 'all', 'caps']

        actual = Tokenizer.tokenize('THIS IS ALL CAPS')
        self.assertEqual(actual, expectation)

Exemplo n.º 2

  def test_downcasing(self):
    expectation = ["this", "is", "all", "caps"]

    actual = Tokenizer.tokenize("THIS IS ALL CAPS")
    self.assertEqual(actual, expectation)

Exemplo n.º 3

Arquivo: tokenizer_test.py Projeto: amitbe79/examples-in-python

  def test_downcasing(self):
    expectation = ["this", "is", "all", "caps"]

    actual = Tokenizer.tokenize("THIS IS ALL CAPS")
    self.assertEqual(actual, expectation)