Python tokenizeの例

コード例 #1

ファイル: test_charfinder.py プロジェクト: ZoroOP/C-and-CPP

def test_tokenize():
    assert list(tokenize('')) == []
    assert list(tokenize('a b')) == ['A', 'B']
    assert list(tokenize('a-b')) == ['A', 'B']
    assert list(tokenize('abc')) == ['ABC']
    assert list(tokenize('café')) == ['CAFÉ']

コード例 #2

ファイル: test_charfinder.py プロジェクト: kangheeyong/PROJECT-async-web-server

def test_tokenize():
    assert list(tokenize('')) == []
    assert list(tokenize('a b')) == ['A', 'B']
    assert list(tokenize('a-b')) == ['A', 'B']
    assert list(tokenize('abc')) == ['ABC']
    assert list(tokenize('@ab-c')) == ['AB', 'C']