def map_value(self, client_context, input_value):
stemmer = Stemmer()
stemmed_value = stemmer.stem(input_value)
YLogger.debug(client_context, "StemmerMap converted %s to %s", input_value, stemmed_value)
return stemmed_value
def test_stem_rslp(self):
stemmer = Stemmer(stemmer="rslp")
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("avi", stemmer.stem("avião"))
self.assertEqual("avi", stemmer.stem("aviões"))
self.assertEqual("avi", stemmer.stem("aviação"))
def test_stem_snowball_no_language(self):
stemmer = Stemmer(stemmer="snowball")
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("troubl", stemmer.stem("trouble"))
self.assertEqual("troubl", stemmer.stem("troubled"))
self.assertEqual("troubl", stemmer.stem("troubles"))
self.assertEqual("troubl", stemmer.stem("troubling"))
def test_stem_isri(self):
stemmer = Stemmer(stemmer="isri")
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("trouble", stemmer.stem("trouble"))
self.assertEqual("troubled", stemmer.stem("troubled"))
self.assertEqual("troubles", stemmer.stem("troubles"))
self.assertEqual("troubling", stemmer.stem("troubling"))
def test_stem_lancaster(self):
stemmer = Stemmer(stemmer="lancaster")
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("troubl", stemmer.stem("trouble"))
self.assertEqual("troubl", stemmer.stem("troubled"))
self.assertEqual("troubl", stemmer.stem("troubles"))
self.assertEqual("troubl", stemmer.stem("troubling"))
def test_stem_regex_no_min(self):
stemmer = Stemmer( stemmer="regex", regexp="ing$|s$|e$|able$|ed$|es$")
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("troubl", stemmer.stem("trouble"))
self.assertEqual("troubl", stemmer.stem("troubled"))
self.assertEqual("troubl", stemmer.stem("troubles"))
self.assertEqual("troubl", stemmer.stem("troubling"))
def process(self, context, word_string):
YLogger.debug(context, "Stemming sentence...")
stemmer = Stemmer()
unstemmed_words = context.brain.tokenizer.texts_to_words(word_string)
stemmed_words = [stemmer.stem(x) for x in unstemmed_words]
text = context.brain.tokenizer.words_to_texts(stemmed_words)
sentence = Sentence(context, text)
response = context.brain.ask_question(context, sentence)
return response
def test_stem_default(self):
stemmer = Stemmer()
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("troubl", stemmer.stem("trouble"))
self.assertEqual("troubl", stemmer.stem("troubled"))
self.assertEqual("troubl", stemmer.stem("troubles"))
self.assertEqual("troubl", stemmer.stem("troubling"))
self.assertEqual("", stemmer.stem(""))
def process(self, context, word_string):
stemmer = Stemmer()
YLogger.debug(context, "Stemming sentence...")
unstemmed_words = context.brain.tokenizer.texts_to_words(word_string)
stemmed_words = [stemmer.stem(x) for x in unstemmed_words]
return context.brain.tokenizer.words_to_texts(stemmed_words)
def test_stem_unknonw(self):
with self.assertRaises(ValueError):
_ = Stemmer(stemmer="unknown")
def test_no_stemmer_loaded(self):
stemmer = Stemmer(stemmer="cistem")
stemmer._impl = None
self.assertEquals("Hallo", stemmer.stem("Hallo"))
def test_stem_cistem_no_case_sensetive(self):
stemmer = Stemmer(stemmer="cistem")
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("speicherbehalt", stemmer.stem("Speicherbehältern"))
def test_stem_cistem(self):
stemmer = Stemmer(stemmer="cistem", case_insensitive=False)
self.assertIsNotNone(stemmer)
self.assertIsNotNone(stemmer._impl)
self.assertEqual("speicherbehalt", stemmer.stem("Speicherbehältern"))