def stemming_tokenizer(text):
stemmer = nltk.stem.RSLPStemmer()
return [stemmer.stem(w) for w in word_tokenize(text)]
trial5 = Pipeline([
('vectorizer',
TfidfVectorizer(tokenizer=stemming_tokenizer,
stop_words=stopwords.words('portuguese') +
list(string.punctuation))),
('classifier', MultinomialNB(alpha=0.05)),
])
c = train(trial5, X, y)
data2 = db.get_all_news_from_no_class('semprequestione')
n = list()
for (title, news, clazz) in data2:
n.append(news)
result = c.predict(n)
for i in range(len(data2)):
titulo, news, clazz = data2[i]
# print(titulo)
# print(result[i])
if "Papa João XIII conheceu e conversou 20 minutos com um extraterrestre pessoalmente anos antes de morrer" in titulo:
news = db.get_news_by_title(titulo)
if result[i] == 'False':
pb = PublishFacebook()
pb.publish(
data = db.get_all_data_set(
['vaticannews', 'semprequestione', 'acidigital', 'cancaonova'])
p = Process(data)
frases = p.stemmerAplay()
basecompleta = p.classify(frases)
classificador = nltk.NaiveBayesClassifier.train(basecompleta)
#
# print(classificador.show_most_informative_features(10))
# teste ="funcionários do Vaticano e com suas amantes e deu este conselho aos pais: “Sempre briguem diante das crianças. Nunca! Em uma audiência realizada na quinta-feira, 21 de dezembro, com os funcionários da Santa Sé para desejar-lhes Feliz Natal, o Santo Padre fez uma série de reflexões sobre a família.Francisco mostrou a sua preocupação pelas crises conjugais que afetam algumas famílias."
# teste='O Papa Francisco lançou duras críticas aos media que espalham e se concentram em escândalos e notícias falsas, afirmando que correm o risco de se tornarem pessoas que possuem o fascínio mórbido por… excrementos.PUBEm entrevista ao semanário católico belga Tertio, e citado pela Reuters, Francisco realçou que espalhar a desinformação é “provavelmente o maior estrago que os media podem fazer”, garantindo que este tipo de actividade em vez de educar o público é um pecado.Utilizando uma terminologia curiosa e pouco comum, o Papa afirmou que a comunicação social deve evitar a “coprofilia” – nome dado a um invulgar interesse e excitação provocada por fezes. E, segundo o líder da Igreja Católica, aqueles que consomem histórias falsas correm o risco de se tornarem coprofágicos. Isto é, pessoas que ingerem fezes.'
data2 = db.get_all_news_from_no_class('acidigital')
for d in data2:
stimmer(d)
# teste,clazz=d
# testestemming = []
# stemmer = nltk.stem.RSLPStemmer()
# for palavrastreinamento in teste.split():
# comstem = [p for p in palavrastreinamento.split()]
# testestemming.append(str(stemmer.stem(comstem[0])))
# # print(testestemming)
#
#
# novo = p.extrairFrase(testestemming)
#
# # print(novo)
# # print(classificador.labels())