Python tokenizeの例

コード例 #1

ファイル: tests.py プロジェクト: jasonbot/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))

コード例 #2

ファイル: tests.py プロジェクト: seanlane/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))
     self.assertEqual('helloworld', tokenize('HELLOWORLD'))