Exemplos de tokenize em Python

Exemplo n.º 1

Arquivo: test_charfinder.py Projeto: ZoroOP/C-and-CPP

def test_tokenize():
    assert list(tokenize('')) == []
    assert list(tokenize('a b')) == ['A', 'B']
    assert list(tokenize('a-b')) == ['A', 'B']
    assert list(tokenize('abc')) == ['ABC']
    assert list(tokenize('café')) == ['CAFÉ']

Exemplo n.º 2

Arquivo: test_charfinder.py Projeto: kangheeyong/PROJECT-async-web-server

def test_tokenize():
    assert list(tokenize('')) == []
    assert list(tokenize('a b')) == ['A', 'B']
    assert list(tokenize('a-b')) == ['A', 'B']
    assert list(tokenize('abc')) == ['ABC']
    assert list(tokenize('@ab-c')) == ['AB', 'C']