Esempi in Python per tokenize

Esempio n. 1

def test_strip_tlp():
    assert tokenize('625-5/11-501(a)(2) (tp337049) (att)') == [
        '625', '5', '/11', '501', 'a', '2', 'att'
    ]

Esempio n. 2

def test_periods():
    assert tokenize('foo.bar') == ['foo.bar']

Esempio n. 3

def test_hyphens():
    assert tokenize('foo-bar-baz') == ['foo', 'bar', 'baz']

Esempio n. 4

def test_strip_ilcs():
    assert tokenize('720 ilcs 5/21') == ['720', '5', '/21']

Esempio n. 5

def test_commas():
    assert tokenize('foo,bar') == ['foo', 'bar']

Esempio n. 6

def test_parens():
    assert tokenize('foobar(a)') == ['foobar', 'a']
    assert tokenize('foobar(a)(b)') == ['foobar', 'a', 'b']

Esempio n. 7

def test_back_slashes():
    assert tokenize('foo\\bar') == ['foo', '/bar']

Esempio n. 8

def test_forward_slashes():
    assert tokenize('foo/bar') == ['foo', '/bar']

Esempio n. 9

def test_spaces():
    assert tokenize('foo bar') == ['foo', 'bar']
    assert tokenize('foo  bar') == ['foo', 'bar']
    assert tokenize('foo bar ') == ['foo', 'bar']
    assert tokenize(' foo bar') == ['foo', 'bar']