Ejemplos de tokenize en Python

Ejemplo n.º 1

Archivo: tests.py Proyecto: jasonbot/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))

Ejemplo n.º 2

Archivo: tests.py Proyecto: seanlane/urlmeme

 def test_tokenize(self):
     self.assertEqual('helloworld', tokenize('hello world'))
     self.assertEqual('helloworld', tokenize('HELLOWORLD'))