Exemplos de get_tokens em Python

Exemplo n.º 1

Arquivo: test_helpers.py Projeto: iOS-OpenSource-Analysis/objection-1

    def test_gets_tokens_with_quotes(self):
        result = get_tokens('this is "a test"')

        self.assertEqual(result, ['this', 'is', 'a test'])

Exemplo n.º 2

Arquivo: test_helpers.py Projeto: iOS-OpenSource-Analysis/objection-1

    def test_gets_tokens_and_handles_missing_quotes(self):
        result = get_tokens('this is "a test')

        self.assertEqual(result, ['lajfhlaksjdfhlaskjfhafsdlkjh'])

Exemplo n.º 3

Arquivo: test_helpers.py Projeto: iOS-OpenSource-Analysis/objection-1

    def test_gets_tokens_without_quotes(self):
        result = get_tokens('this is a test')

        self.assertEqual(result, ['this', 'is', 'a', 'test'])