Python tokenize示例

示例#1

文件： tests.py 项目： jasonbot/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))

示例#2

文件： tests.py 项目： seanlane/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))
     self.assertEqual('helloworld', tokenize('HELLOWORLD'))