예제 #1
0
파일: tests.py 프로젝트: dracone/nlp-tools 
class TestSocialLM(unittest.TestCase):

    def setUp(self):
        self.lm = SocialLM()

    def test_tokenize_c(self):
        tokz = SocialLM.tokenize('hello', mode='c')
        self.assertEqual(tokz,['h','e','l','l','o'])

    def test_tokenize_w(self):
        tokz = SocialLM.tokenize('hello world', mode='w')
        self.assertEqual(tokz,['hello','world'])

    def test_is_mention_at(self):
        ism = SocialLM.is_mention_line('@gr33ndata')
        self.assertEqual(ism,True)

    def test_is_mention_http(self):
        ism = SocialLM.is_mention_line('http://www.yahoo.com')
        self.assertEqual(ism,True)

    def test_is_mention_https(self):
        ism = SocialLM.is_mention_line('https://www.yahoo.com')
        self.assertEqual(ism,True)

    def test_is_not_mention(self):
        ism = SocialLM.is_mention_line('This is https://www.yahoo.com')
        self.assertEqual(ism,False)

    def test_normalize_mention_lower(self):
        norm_txt = self.lm.normalize(u'Dear @user How Are You?')
        self.assertEqual(norm_txt, u'dear how are you?')
예제 #2
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def test_is_not_mention(self):
     ism = SocialLM.is_mention_line('This is https://www.yahoo.com')
     self.assertEqual(ism,False)
예제 #3
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def test_is_mention_https(self):
     ism = SocialLM.is_mention_line('https://www.yahoo.com')
     self.assertEqual(ism,True)
예제 #4
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def test_is_mention_at(self):
     ism = SocialLM.is_mention_line('@gr33ndata')
     self.assertEqual(ism,True)
예제 #5
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def test_tokenize_w(self):
     tokz = SocialLM.tokenize('hello world', mode='w')
     self.assertEqual(tokz,['hello','world'])
예제 #6
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def test_tokenize_c(self):
     tokz = SocialLM.tokenize('hello', mode='c')
     self.assertEqual(tokz,['h','e','l','l','o'])
예제 #7
0
파일: tests.py 프로젝트: dracone/nlp-tools 
 def setUp(self):
     self.lm = SocialLM()