Ejemplo n.º 1
0
 def test_tokenize_period(self):
     T.assert_equal(tokenize('foo.bar'), ['foo', '.bar'])
Ejemplo n.º 2
0
 def test_tokenize_brackes(self):
     T.assert_equal(tokenize('{foo}'), ['{', 'foo', '}'])
Ejemplo n.º 3
0
 def test_tokenize_colon(self):
     T.assert_equal(tokenize('foo:bar'), ['foo', ':bar'])
Ejemplo n.º 4
0
 def test_tokenize_arithmetic(self):
     T.assert_equal(tokenize('1+2-3'), ['1', '+', '2', '-', '3'])
Ejemplo n.º 5
0
 def test_tokenize_semicolon(self):
     T.assert_equal(tokenize('foo;bar'), ['foo', ';', 'bar'])
Ejemplo n.º 6
0
 def test_tokenize_bar(self):
     T.assert_equal(tokenize('|foo|'), ['|', 'foo', '|'])
Ejemplo n.º 7
0
 def test_tokenize_brackets(self):
     T.assert_equal(tokenize('[foo]'), ['[', 'foo', ']'])
Ejemplo n.º 8
0
 def test_tokenize_parenthesis(self):
     T.assert_equal(tokenize('(foo)'), ['(', 'foo', ')'])
Ejemplo n.º 9
0
 def test_tokenize_single_token(self):
     T.assert_equal(tokenize('foo'), ['foo'])
Ejemplo n.º 10
0
 def test_tokenize_empty_string(self):
     T.assert_equal(tokenize(''), [])