Ejemplo n.º 1
0
def match(string, token):
    assert tokenize([string]) == [(token, string), ('ENDMARKER', ''), None]
Ejemplo n.º 2
0
def test_sequence():
    assert tokenize(['a', '123']) == [('NAME', 'a'), ('INT', '123'),
                                      ('ENDMARKER', ''), None]
Ejemplo n.º 3
0
def test_keywords():
    for keyword in KEYWORDS:
        assert tokenize([keyword]) == [(keyword.upper(), keyword),
                                       ('ENDMARKER', ''), None]
Ejemplo n.º 4
0
def test_empty():
    assert tokenize([]) == [('ENDMARKER', ''), None]
Ejemplo n.º 5
0
def test_colon():
    match(':', 'COLON')
    assert tokenize([':']) == [('COLON', ':'), ('ENDMARKER', ''), None]
Ejemplo n.º 6
0
def match(string, token):
    assert tokenize([string]) == [(token, string), ('ENDMARKER', ''), None]
Ejemplo n.º 7
0
def test_keywords():
    for keyword in KEYWORDS:
        assert tokenize([keyword]) == [(keyword.upper(), keyword), ('ENDMARKER', ''), None]
Ejemplo n.º 8
0
def test_sequence():
    assert tokenize(['a', '123']) == [('NAME', 'a'), ('INT', '123'), ('ENDMARKER', ''), None]
Ejemplo n.º 9
0
def test_colon():
    match(':', 'COLON')
    assert tokenize([':']) == [('COLON', ':'), ('ENDMARKER', ''), None]
Ejemplo n.º 10
0
def test_empty():
    assert tokenize([]) == [('ENDMARKER', ''), None]