Ejemplos de tokenize en Python

Ejemplo n.º 1

Archivo: test_tokenizing.py Proyecto: xusanduo/ChineseAddress

    def test_spaces(self) :

        assert tokenize('foo bar') == ['foo', 'bar']
        assert tokenize('foo  bar') == ['foo', 'bar']
        assert tokenize('foo bar ') == ['foo', 'bar']
        assert tokenize(' foo bar') == ['foo', 'bar']

Ejemplo n.º 2

Archivo: test_tokenizing.py Proyecto: xusanduo/ChineseAddress

    def test_split_on_punc(self) :

        assert tokenize('foo,bar') == ['foo,', 'bar']