Python _tokenize_text Exemples

Exemple #1

Fichier : test_evaluation.py Projet : Rustemt/Text-Extraction-Evaluation

 def test_tokenize_text(self):
     s = '''
     This is (some text). AAAA!!"#.{}
     special charč怚đž.
     '''
     r = _tokenize_text(s)
     self.assertEqual(r, ['this','is','some','text','aaaa','special','char'])

Exemple #2

Fichier : test_evaluation.py Projet : sujithkasn/Text-Extraction-Evaluation

 def test_tokenize_text(self):
     s = '''
     This is (some text). AAAA!!"#.{}
     special charč怚đž.
     '''
     r = _tokenize_text(s)
     self.assertEqual(
         r, ['this', 'is', 'some', 'text', 'aaaa', 'special', 'char'])

Exemple #3

Fichier : test_evaluation.py Projet : sujithkasn/Text-Extraction-Evaluation

 def test_tokenize_text_empty(self):
     s = ''
     r = _tokenize_text(s)
     self.assertEqual(r, [])

Exemple #4

Fichier : test_evaluation.py Projet : Rustemt/Text-Extraction-Evaluation

 def test_tokenize_text_empty(self):
     s = ''
     r = _tokenize_text(s)
     self.assertEqual(r, [])