Python stemの例

コード例 #1

ファイル: dictionary.py プロジェクト: cvangysel/pyndri

    def _process_token(self, token):
        if self.krovetz_stemming:
            try:
                result = pyndri.stem(token)
            except UnicodeEncodeError as e:
                logging.error(e)

                result = None
        else:
            result = token

        return result

コード例 #2

ファイル: pyndri_tests.py プロジェクト: cvangysel/pyndri

 def test_stemming(self):
     self.assertEqual(pyndri.stem('predictions'), 'prediction')
     self.assertEqual(pyndri.stem('marketing'), 'marketing')
     self.assertEqual(pyndri.stem('strategies'), 'strategy')

コード例 #3

ファイル: pyndri_tests.py プロジェクト: forkme7/pyndri

 def test_stemming(self):
     self.assertEqual(pyndri.stem('predictions'), 'prediction')
     self.assertEqual(pyndri.stem('marketing'), 'marketing')
     self.assertEqual(pyndri.stem('strategies'), 'strategy')

コード例 #4

import pyndri

print pyndri.stem('predictions')  # prediction
print pyndri.stem('marketing')  # marketing
print pyndri.stem('strategies')  # strategy

コード例 #5

 def _process_token(self, token):
     if self.krovetz_stemming:
         return pyndri.stem(token)
     else:
         return token