Ejemplos de segment en Python

Ejemplo n.º 1

Archivo: test_tokenize.py Proyecto: hopedataannotations/pythainlp

 def test_icu(self):
     self.assertEqual(pyicu.segment(None), [])
     self.assertEqual(pyicu.segment(""), [])
     self.assertEqual(
         word_tokenize("ฉันรักภาษาไทยเพราะฉันเป็นคนไทย", engine="icu"),
         ["ฉัน", "รัก", "ภาษา", "ไทย", "เพราะ", "ฉัน", "เป็น", "คน", "ไทย"],
     )

Ejemplo n.º 2

Archivo: __init__.py Proyecto: wannaphongcom/pythainlp

 def test_word_tokenize_icu(self):
     self.assertEqual(tokenize_pyicu.segment(None), [])
     self.assertEqual(tokenize_pyicu.segment(""), [])
     self.assertEqual(
         word_tokenize("ฉันรักภาษาไทยเพราะฉันเป็นคนไทย", engine="icu"),
         ["ฉัน", "รัก", "ภาษา", "ไทย", "เพราะ", "ฉัน", "เป็น", "คน", "ไทย"],
     )