Python n_gram_slices_range 예제들

예제 #1

파일: test_ngram.py 프로젝트: emsrc/daeso-framework

 def test_n_gram_slices_range(self):
     ng = n_gram_slices_range(self.tokens, range(1, 4))
     self.assertEqual(
         ng, {
             1: [("a", ), ("nice", ), ("sentence", )],
             2: [("a", "nice"), ("nice", "sentence")],
             3: [("a", "nice", "sentence")]
         })

예제 #2

파일: test_ngram.py 프로젝트: emsrc/daeso-framework

 def test_n_gram_slices_range(self):
     ng = n_gram_slices_range(self.tokens, range(1,4))
     self.assertEqual(ng, { 1: [ ("a",), 
                                 ("nice",), 
                                 ("sentence",) ],
                                 2: [ ("a", "nice"), 
                                      ("nice", "sentence") ],
                                 3: [ ("a", "nice", "sentence") ]
                             } )

예제 #3

파일: test_ngram.py 프로젝트: emsrc/daeso-framework

 def test_n_gram_slices_range_padded(self):
     ng = n_gram_slices_range(self.tokens, range(1, 4), pad=True)
     self.assertEqual(
         ng, {
             1: [("a", ), ("nice", ), ("sentence", )],
             2: [("_", "a"), ("a", "nice"), ("nice", "sentence"),
                 ("sentence", "_")],
             3: [("_", "_", "a"), ("_", "a", "nice"),
                 ("a", "nice", "sentence"), ("nice", "sentence", "_"),
                 ("sentence", "_", "_")]
         })

예제 #4

파일: test_ngram.py 프로젝트: emsrc/daeso-framework

 def test_n_gram_slices_range_padded(self):
     ng = n_gram_slices_range(self.tokens, range(1, 4), pad=True)
     self.assertEqual(ng, { 1: [ ("a",), 
                                 ("nice",), 
                                 ("sentence",) ],
                                 2: [ ("_", "a"), 
                                      ("a", "nice"), 
                                      ("nice", "sentence"), 
                                      ("sentence", "_") ],
                                 3: [ ("_", "_", "a"), 
                                      ("_", "a", "nice"), 
                                      ("a", "nice", "sentence"),
                                      ("nice", "sentence", "_"),
                                      ("sentence", "_", "_" ) ]
                             } )