def test_metre_classifier5(self): text = "Глыбу кварца разбили молотом,\n" \ "И, веселым огнем горя,\n" \ "Заблестели крупинки золота\n" \ "В свете тусклого фонаря.\n" \ "И вокруг собрались откатчики:\n" \ "Редкий случай, чтоб так, в руде!\n" \ "И от ламп заплясали зайчики,\n" \ "Отражаясь в черной воде...\n" \ "Прислонившись к мокрой стене,\n" \ "Мы стояли вокруг.\n" \ "Курили,\n" \ "Прислонившись к мокрой стене,\n" \ "И мечтательно говорили\n" \ "Не о золоте — о весне.\n" \ "И о том, что скоро, наверно,\n" \ "На заливе вспотеет лед\n" \ "И, снега огласив сиреной,\n" \ "Наконец придет пароход...\n" \ "Покурили еще немного,\n" \ "Золотинки в кисет смели\n" \ "И опять — по своим дорогам,\n" \ "К вагонеткам своим пошли.\n" \ "Что нам золото? В дни тяжелые\n" \ "Я от жадности злой не слеп.\n" \ "Самородки большие, желтые\n" \ "Отдавал за табак и хлеб.\n" \ "Не о золоте были мысли...\n" \ "В ночь таежную у костра\n" \ "Есть над чем поразмыслить в жизни,\n" \ "Кроме\n" \ "Золота-серебра." markup, result = MetreClassifier.improve_markup(Markup.process_text(text, self.stress_predictor)) self.assertTrue(result.metre == "dolnik3" or result.metre == "dolnik2")
def test_metre_classifier6(self): text = "Лючинь печальная читала вечером ручьисто-вкрадчиво,\n" \ "Так чутко чувствуя журчащий вычурно чужой ей плач,\n" \ "И, в человечестве чтя нечто вечное, чем чушь Бокаччио,\n" \ "От чар отчаянья кручинно-скучная, чла час удач." markup, result = MetreClassifier.improve_markup(Markup.process_text(text, self.stress_predictor)) self.assertTrue(result.metre == "iambos")
def test_metre_classifier2(self): text = "Буря мглою небо кроет,\n" \ "Вихри снежные крутя;\n" \ "То, как зверь, она завоет,\n" \ "То заплачет, как дитя..." markup, result = MetreClassifier.improve_markup(Markup.process_text(text, self.stress_predictor)) self.assertEqual(result.metre, "choreios")
def handle(self, *args, **options): engine = Engine(language="ru") poems = Poem.objects.all() begin = int(options.get('from')) end = int( options.get('to')) if options.get('to') is not None else len(poems) poems = Poem.objects.all()[begin:end] xml_path = str( options.get('xml')) if options.get('xml') is not None else None raw_path = str( options.get('raw')) if options.get('raw') is not None else None db = options.get('db') author = options.get("author") markup_version = MarkupVersion.objects.get_or_create(name=author)[0] ModelMarkup.objects.filter(markup_version=markup_version).delete() xml_writer = None raw_writer = None if xml_path is not None: xml_path = os.path.join(BASE_DIR, xml_path) xml_writer = Writer(FileType.XML, xml_path) xml_writer.open() if raw_path is not None: raw_path = os.path.join(BASE_DIR, raw_path) raw_writer = Writer(FileType.RAW, raw_path) raw_writer.open() i = 0 stress_predictor = engine.get_stress_predictor( stress_model_path=STRESS_MODEL, zalyzniak_dict=ZALYZNYAK_DICT, stress_trie_path=TRIE_PATH, raw_stress_dict_path=RAW_DICT_PATH) for p in poems: if "Automatic" in author: markup = Markup.process_text(p.text, stress_predictor) markup, result = MetreClassifier.improve_markup(markup) if xml_writer is not None: xml_writer.write_markup(markup) if raw_writer is not None: raw_writer.write_markup(markup) if db: ModelMarkup.objects.create(poem=p, text=markup.to_json(), author="Automatic2", additional=result.to_json(), markup_version=markup_version) else: markup = p.markups.filter(author=author)[0] if xml_writer is not None: xml_writer.write_markup(markup.get_markup()) if raw_writer is not None: raw_writer.write_markup(markup.get_markup()) i += 1 print(i) if raw_writer is not None: raw_writer.close() if xml_writer is not None: xml_writer.close()
def test_metre_classifier1(self): text = "Горит восток зарёю новой.\n" \ "Уж на равнине, по холмам\n" \ "Грохочут пушки. Дым багровый\n" \ "Кругами всходит к небесам." markup, result = MetreClassifier.improve_markup(Markup.process_text(text, self.stress_predictor)) self.assertIsInstance(markup, Markup) self.assertIsInstance(result, ClassificationResult) self.assertEqual(result.metre, "iambos")
def test_improve(self): text = "Буря мглою небо кроет,\n" \ "Вихри снежные крутя;\n" \ "То, как зверь, она завоет,\n" \ "То заплачет, как дитя..." initial_markup = Markup.process_text(text, self.stress_predictor) markup, result = MetreClassifier.improve_markup(copy.deepcopy(initial_markup)) self.assertNotEqual(markup.lines[0].words[0].syllables[0].stress, -1) self.assertEqual(markup.lines[0].words[0].syllables[1].stress, -1)
def classify_metre(self, text: str, language: str = "ru") -> str: """ :param text: текст. :param language: язык. :return: его метр. """ return MetreClassifier.classify_metre( Markup.process_text(text, self.get_stress_predictor(language))).metre
def __markup_text(text: str, stress_predictor: StressPredictor) -> Markup: """ Разметка текста. :param text: текст. :return: разметка. """ markup = Markup.process_text(text, stress_predictor) markup = MetreClassifier.improve_markup(markup)[0] return markup
def test_metre_classifier3(self): text = "На стеклах нарастает лед,\n"\ "Часы твердят: «Не трусь!»\n"\ "Услышать, что ко мне идет,\n"\ "И мертвой я боюсь.\n"\ "Как идола, молю я дверь;\n"\ "«Не пропускай беду!»\n"\ "Кто воет за стеной, как зверь,\n"\ "Кто прячется в саду?" markup, result = MetreClassifier.improve_markup(Markup.process_text(text, self.stress_predictor)) self.assertEqual(result.metre, "iambos")
def get_improved_markup( self, text: str, language: str = "ru") -> Tuple[Markup, ClassificationResult]: """ :param text: текст. :param language: язык. :return: его разметка по словарю, классификатору метру и ML классификатору. """ markup = Markup.process_text(text, self.get_stress_predictor(language)) return MetreClassifier.improve_markup(markup)
def test_metre_classifier4(self): text = "Вот уж вечер. Роса\n" \ "Блестит на крапиве.\n"\ "Я стою у дороги,\n"\ "Прислонившись к иве.\n"\ "От луны свет большой\n"\ "Прямо на нашу крышу.\n"\ "Где-то песнь соловья\n"\ "Хорошо и тепло,\n"\ "Как зимой у печки.\n"\ "И березы стоят,\n"\ "Как большие свечки.\n"\ "И вдали за рекой,\n"\ "Видно, за опушкой,\n"\ "Сонный сторож стучит\n"\ "Мертвой колотушкой." markup, result = MetreClassifier.improve_markup(Markup.process_text(text, self.stress_predictor)) self.assertTrue(result.metre == "dolnik3" or result.metre == "dolnik2")
def generate_poem_by_line(self, line: str, rhyme_pattern: str, stress_predictor: StressPredictor) -> str: """ Генерация стихотвторения по одной строчке. :param stress_predictor: классификатор. :param line: строчка. :param rhyme_pattern: шаблон рифмы. :return: стихотворение """ markup, result = MetreClassifier.improve_markup( Markup.process_text(line, stress_predictor)) rhyme_word = markup.lines[0].words[-1] count_syllables = sum( [len(word.syllables) for word in markup.lines[0].words]) metre_pattern = CompilationsSingleton.get().get_patterns( result.metre, count_syllables)[0] metre_pattern = metre_pattern.lower().replace("s", "+").replace("u", "-") letters_to_rhymes = {rhyme_pattern[0]: {rhyme_word}} generated = self.generate_poem(metre_pattern, rhyme_pattern, len(metre_pattern), letters_to_rhymes) poem = line + "\n" + "\n".join(generated.split("\n")[1:]) return poem