예제 #1
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def test_tokenize_w(self):
     tokz = SocialLM.tokenize('hello world', mode='w')
     self.assertEqual(tokz,['hello','world'])
예제 #2
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def test_tokenize_c(self):
     tokz = SocialLM.tokenize('hello', mode='c')
     self.assertEqual(tokz,['h','e','l','l','o'])