def make_poems_model(file_name: str, semantics=True) -> dict:
print("making poems model...")
poems = read_poems(file_name)
print('poem count:', len(poems))
bags, voc = make_bags(poems)
sa = []
sd = []
if semantics:
print("loading w2v_model...")
w2v_model = sem.load_w2v_model(sem.WORD2VEC_MODEL_FILE)
print("adding semantics to model...")
sd = [sem.semantic_density(bag, w2v_model, unknown_coef=-0.001) for bag in bags]
sa = [sem.semantic_association(bag, w2v_model) for bag in bags]
rates = [0.0 for _ in range(len(poems))]
print("model created")
return {'poems' : poems,
'bags' : bags,
'vocabulary' : voc,
'density' : sd,
'associations': sa,
'rates' : rates}
def make_poems_model(file_name: str, semantics=True) -> dict:
print("making poems model...")
poems = read_poems(file_name)
print('poem count:', len(poems))
bags, voc = make_bags(poems)
sa = []
sd = []
if semantics:
print("loading w2v_model...")
w2v_model = sem.load_w2v_model(sem.WORD2VEC_MODEL_FILE)
print("adding semantics to model...")
sd = [sem.semantic_density(bag, w2v_model, unknown_coef=-0.001) for bag in bags]
sa = [sem.semantic_association(bag, w2v_model) for bag in bags]
rates = [0.0 for _ in range(len(poems))]
print("model created")
return {'poems' : poems,
'bags' : bags,
'vocabulary' : voc,
'density' : sd,
'associations': sa,
'rates' : rates}
if __name__ == "__main__":
test_poems = (
"мадам а не хотите кофе\n сказал он глядя ей в глаза\n три таракана были против\n пять за\n",
"в ночи повеяло прохладой\n как будто в дом прокралось зло\n а это просто одеяло сползло\n",
"на юг летят все птицы в мире\n едва лишь осень на порог\n одни пингвины не летают\n пингвинам некуда лететь\n",
"лежу у самой кромки моря\n немножко пьяный ну и пусть\n то море на меня накатит\n то грусть\n",
"олег купил в мясном отделе\n кило можроженных сердец\n и с упоеньем разбивал их\n подлец\n",
"мдам я весь пылаю страстью\n отдайтесь мне среди осин\n я очарован цветом ваших\n лосин\n",
"автобус сделал остановку\n открылась дверь в густой туман\n и я сошла легко и ловко\n с ума",
"когда одна осталась пуля\n а ты врагами окружен\n стреляй последней пулей в солнце\n и уходи пока темно\n",
"горячий чай с пломбиром вместе\n ты ешь смотря цинично вдаль\n скажи дружочек а не треснет\n эмаль",
"на почту бабушки слетелись\n воркуют топчатся голдят\n наверно крошек в виде пенсий\n хотят\n",
"детей кому нибудь подарим\n беспечно отмахнулся пётр\n так был решён вопрос со свадьбой\n с опасным сексом и вобще\n",
"жених идёт и пышет жаром\n и все невесты на селе\n к нему подходят чтоб погреться\n кто посмелее прикурить\n",
"олег оксану в чистом поле\n случайно в полночь повстречал\n и легкомысленно кого-то\n зачал\n",
"зима бежишь с горы кататься\n наперекор своей судьбе\n и кажется что минус двадцать\n тебе\n",
"у истины довольно много\n начал концов и середин\n зато в тупик всегда заходишь\n в один\n",
"чтоб жизнь свою наполнить смыслом\n из вздохов шерсти и тоски\n старушки каждодневно вяжут\n носки\n",
"цветы засушенные в книге\n помада в сумке шоколад\n олег слегка волнуясь прибыл\n в стройбат\n",
"поэт закажет проститутку\n и ночь проводит с ней в стихах\n та иитирует восторги\n ох ах\n",
"маньяк насилует людмилу\n четвёртый час четвёртый раз\n людмила думает вот суки\n про бывших трёх своих мужей\n",
"иван семёныч дерзкий грубый\n брутальный весь такой мужик\n помадой нежно красит губы\n привык\n"
)
w2v_model = sem.load_w2v_model(sem.WORD2VEC_MODEL_FILE)
poems_model = mpm.read_data_model("poems_model.dat")
test_poem = random.choice(test_poems)
sim_poems = similar_poems(test_poem, poems_model, w2v_model)
print(test_poem)
pprint(sim_poems)
if __name__ == "__main__":
test_poems = (
"мадам а не хотите кофе\n сказал он глядя ей в глаза\n три таракана были против\n пять за\n",
"в ночи повеяло прохладой\n как будто в дом прокралось зло\n а это просто одеяло сползло\n",
"на юг летят все птицы в мире\n едва лишь осень на порог\n одни пингвины не летают\n пингвинам некуда лететь\n",
"лежу у самой кромки моря\n немножко пьяный ну и пусть\n то море на меня накатит\n то грусть\n",
"олег купил в мясном отделе\n кило можроженных сердец\n и с упоеньем разбивал их\n подлец\n",
"мдам я весь пылаю страстью\n отдайтесь мне среди осин\n я очарован цветом ваших\n лосин\n",
"автобус сделал остановку\n открылась дверь в густой туман\n и я сошла легко и ловко\n с ума",
"когда одна осталась пуля\n а ты врагами окружен\n стреляй последней пулей в солнце\n и уходи пока темно\n",
"горячий чай с пломбиром вместе\n ты ешь смотря цинично вдаль\n скажи дружочек а не треснет\n эмаль",
"на почту бабушки слетелись\n воркуют топчатся голдят\n наверно крошек в виде пенсий\n хотят\n",
"детей кому нибудь подарим\n беспечно отмахнулся пётр\n так был решён вопрос со свадьбой\n с опасным сексом и вобще\n",
"жених идёт и пышет жаром\n и все невесты на селе\n к нему подходят чтоб погреться\n кто посмелее прикурить\n",
"олег оксану в чистом поле\n случайно в полночь повстречал\n и легкомысленно кого-то\n зачал\n",
"зима бежишь с горы кататься\n наперекор своей судьбе\n и кажется что минус двадцать\n тебе\n",
"у истины довольно много\n начал концов и середин\n зато в тупик всегда заходишь\n в один\n",
"чтоб жизнь свою наполнить смыслом\n из вздохов шерсти и тоски\n старушки каждодневно вяжут\n носки\n",
"цветы засушенные в книге\n помада в сумке шоколад\n олег слегка волнуясь прибыл\n в стройбат\n",
"поэт закажет проститутку\n и ночь проводит с ней в стихах\n та иитирует восторги\n ох ах\n",
"маньяк насилует людмилу\n четвёртый час четвёртый раз\n людмила думает вот суки\n про бывших трёх своих мужей\n",
"иван семёныч дерзкий грубый\n брутальный весь такой мужик\n помадой нежно красит губы\n привык\n"
)
w2v = sem.load_w2v_model(sem.WORD2VEC_MODEL_FILE)
pm = mpm.read_data_model("poems_model.dat")
test_poem = random.choice(test_poems)
sim_poems = similar_poems(test_poem, pm, w2v)
print(test_poem)
pprint(sim_poems)
import semantics as sem
import make_poems_model as mpm
import analyze_poem as ap
from pprint import pprint
w2v_model = sem.load_w2v_model("c:/data/ruscorpora.model.bin.gz")
poems_model = mpm.load_poems_model("poems_model.dat",
w2v_model,
vectorize=True)
pprint(
ap.similar_poems("запрос",
poems_model,
w2v_model,
topn=5,
use_associations=False))
sem.most_similar(w2v_model, positive="ёжик", negative="причёска")
w2v_model.similarity("принцесса_S", "чудовище_S")
w2v_model.most_similar(positive=['латифундия_S'])
# w2v.index2word
