def test_clean_markers(): text = TextHtml(u'купить пластиковые окна') mark_with_words([Sentence(u'купить пластиковые')], text) text.remove_markers() mark_with_words([Sentence(u'пластиковые окна')], text) counters = get_marked_words(text) assert len(counters) == 1
def test_get_marked_words(): text = TextHtml(u"Купить пластиковые окна в москве и не дорого. Деревянные окна под заказ") original_words = [ u'купить * окна', u'пластиковые окна в москве', u'деревянные окна', ] words = map(Sentence, original_words) mark_with_words(words, text) marked = get_marked_words(text) for word in original_words: assert marked[word] == 1