Esempi in Python per tokenize

Esempio n. 1

File: tests.py Progetto: jasonbot/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))

Esempio n. 2

File: tests.py Progetto: seanlane/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))
     self.assertEqual('helloworld', tokenize('HELLOWORLD'))