예제 #1
0
 def test_grouped_input_ungrouped_output(self):
     self.assertEqual(
         split_hanzi('没有,是 我 第一次 来 上海 旅游。', grouped=False),
         [
             '没',
             '有',
             ',',
             '是',
             '我',
             '第',
             '一',
             '次',
             '来',
             '上',
             '海',
             '旅',
             '游',
             '。',
         ],
     )
예제 #2
0
 def test_mixed_english_chinese(self):
     self.assertEqual(split_hanzi('Brian的'), ['Brian', '的'])
예제 #3
0
 def test_grouped_input_unspaced_punc(self):
     self.assertEqual(
         split_hanzi('没有,是 我 第一次 来 上海 旅游。'),
         ['没有', ',', '是', '我', '第一次', '来', '上海', '旅游', '。'],
     )