Python tokenize примеры использования

Пример #1

Файл: test_tokenizing.py Проект: adamchainz/graphiqparser

    def test_spaces(self):

        assert tokenize('foo bar') == ['foo', 'bar']
        assert tokenize('foo  bar') == ['foo', 'bar']
        assert tokenize('foo bar ') == ['foo', 'bar']
        assert tokenize(' foo bar') == ['foo', 'bar']

Пример #2

Файл: test_tokenizing.py Проект: adamchainz/graphiqparser

    def test_spaces(self) :

        assert tokenize('foo bar') == ['foo', 'bar']
        assert tokenize('foo  bar') == ['foo', 'bar']
        assert tokenize('foo bar ') == ['foo', 'bar']
        assert tokenize(' foo bar') == ['foo', 'bar']

Пример #3

Файл: test_tokenizing.py Проект: adamchainz/graphiqparser

    def test_split_on_punc(self):

        assert tokenize('foo,bar') == ['foo,', 'bar']

Пример #4

Файл: test_tokenizing.py Проект: adamchainz/graphiqparser

    def test_split_on_punc(self) :

        assert tokenize('foo,bar') == ['foo,', 'bar']