def testCOLSEP(self):
case = '=== ====\n'
lexer.input(case)
tok = lexer.token()
self.assertEqual(3, tok.value[0].length)
self.assertEqual(4, tok.value[1].length)
case = '========\n'
lexer.input(case)
tok = lexer.token()
self.assertEqual('COLSEP', tok.type)
self.assertEqual(8, tok.value[0].length)
def testLINE(self):
testcase = '時間 交易A 交易B\n'
lexer.input(testcase)
tok = lexer.token()
self.assertEqual('LINE', tok.type)
self.assertEqual('時間 交易A 交易B', tok.value)
