コード例 #1
0
ファイル: tokenizer_test.py プロジェクト: fnl/segtok
 def test_unicode(self):
     self.assertIsNotNone(IS_CONTRACTION.match("Frank\u02BCs"))
     self.assertIsNotNone(IS_POSSESSIVE.match("Charles\u2019"))
     self.assertIsNotNone(IS_POSSESSIVE.match("home-less\u2032"))
コード例 #2
0
ファイル: tokenizer_test.py プロジェクト: fnl/segtok
 def test_matches(self):
     self.assertIsNotNone(IS_POSSESSIVE.match("Frank's"))
     self.assertIsNotNone(IS_POSSESSIVE.match("Charles'"))
コード例 #3
0
ファイル: tokenizer_test.py プロジェクト: fnl/segtok
 def test_misses(self):
     self.assertIsNone(IS_POSSESSIVE.match("Frank'd"))
     self.assertIsNone(IS_POSSESSIVE.match("s'"))
コード例 #4
0
 def test_unicode(self):
     self.assertIsNotNone(IS_CONTRACTION.match("Frank\u02BCs"))
     self.assertIsNotNone(IS_POSSESSIVE.match("Charles\u2019"))
     self.assertIsNotNone(IS_POSSESSIVE.match("home-less\u2032"))
コード例 #5
0
 def test_matches(self):
     self.assertIsNotNone(IS_POSSESSIVE.match("Frank's"))
     self.assertIsNotNone(IS_POSSESSIVE.match("Charles'"))
コード例 #6
0
 def test_misses(self):
     self.assertIsNone(IS_POSSESSIVE.match("Frank'd"))
     self.assertIsNone(IS_POSSESSIVE.match("s'"))