def test_all(self):
sentences = [u"Un nuage flotta dans le grand ciel bleu.",
u"Des grands nuages noirs flottent dans le ciel.",
u"Je n'aime pas ce genre de bandes dessinées tristes.",
u"J'aime les bandes dessinées de genre comiques.",
u"Pour quelle occasion vous êtes-vous apprêtée ?",
u"Je les vis ensemble à plusieurs occasions.",
u"Je les ai vus ensemble à plusieurs occasions.",
]
minlsh = Minlsh()
# XXX Should works independantly of the seed. Unstability due to the bands number ?
minlsh.train((simplify(s, FRENCH_LEMMAS, remove_stopwords=True) for s in sentences), 1, 200)
self.assertEqual(set([(0, 1), (2, 3), (5,6)]), minlsh.predict(0.4))
def test_simplify(self):
self.assertEqual(simplify(u"J'aime les frites, les pommes et les" \
u" scoubidous !", FRENCH_LEMMAS),
u"aimer frites pomme scoubidou")
