Ejemplo n.º 1
0
    def test_spaces(self) :

        assert tokenize('foo bar') == ['foo', 'bar']
        assert tokenize('foo  bar') == ['foo', 'bar']
        assert tokenize('foo bar ') == ['foo', 'bar']
        assert tokenize(' foo bar') == ['foo', 'bar']
Ejemplo n.º 2
0
    def test_split_on_punc(self) :

        assert tokenize('foo,bar') == ['foo,', 'bar']