Exemplos de ngrams_for_tokens em Python

Exemplo n.º 1

Arquivo: test_text.py Projeto: wiseman/mefingram

 def test_ngrams_for_tokens(self):
   self.assertEqual(text.ngrams_for_tokens(['one', 'two', 'three'], 1),
                    [('one',), ('two',), ('three',)])
   self.assertEqual(text.ngrams_for_tokens(['one', 'two', 'three'], 2),
                    [('one', 'two'), ('two', 'three')])
   self.assertEqual(text.ngrams_for_tokens(['one', 'two', 'three'], 3),
                    [('one', 'two', 'three')])

Exemplo n.º 2

Arquivo: mapper.py Projeto: wiseman/mefingram

 def ngrams_for_text(self, s, n):
   tokens = text.title_tokens(s)
   return text.ngrams_for_tokens(tokens, n)