def stemming_tokenizer(text): stemmer = nltk.stem.RSLPStemmer() return [stemmer.stem(w) for w in word_tokenize(text)] trial5 = Pipeline([ ('vectorizer', TfidfVectorizer(tokenizer=stemming_tokenizer, stop_words=stopwords.words('portuguese') + list(string.punctuation))), ('classifier', MultinomialNB(alpha=0.05)), ]) c = train(trial5, X, y) data2 = db.get_all_news_from_no_class('semprequestione') n = list() for (title, news, clazz) in data2: n.append(news) result = c.predict(n) for i in range(len(data2)): titulo, news, clazz = data2[i] # print(titulo) # print(result[i]) if "Papa João XIII conheceu e conversou 20 minutos com um extraterrestre pessoalmente anos antes de morrer" in titulo: news = db.get_news_by_title(titulo) if result[i] == 'False': pb = PublishFacebook() pb.publish(
data = db.get_all_data_set( ['vaticannews', 'semprequestione', 'acidigital', 'cancaonova']) p = Process(data) frases = p.stemmerAplay() basecompleta = p.classify(frases) classificador = nltk.NaiveBayesClassifier.train(basecompleta) # # print(classificador.show_most_informative_features(10)) # teste ="funcionários do Vaticano e com suas amantes e deu este conselho aos pais: “Sempre briguem diante das crianças. Nunca! Em uma audiência realizada na quinta-feira, 21 de dezembro, com os funcionários da Santa Sé para desejar-lhes Feliz Natal, o Santo Padre fez uma série de reflexões sobre a família.Francisco mostrou a sua preocupação pelas crises conjugais que afetam algumas famílias." # teste='O Papa Francisco lançou duras críticas aos media que espalham e se concentram em escândalos e notícias falsas, afirmando que correm o risco de se tornarem pessoas que possuem o fascínio mórbido por… excrementos.PUBEm entrevista ao semanário católico belga Tertio, e citado pela Reuters, Francisco realçou que espalhar a desinformação é “provavelmente o maior estrago que os media podem fazer”, garantindo que este tipo de actividade em vez de educar o público é um pecado.Utilizando uma terminologia curiosa e pouco comum, o Papa afirmou que a comunicação social deve evitar a “coprofilia” – nome dado a um invulgar interesse e excitação provocada por fezes. E, segundo o líder da Igreja Católica, aqueles que consomem histórias falsas correm o risco de se tornarem coprofágicos. Isto é, pessoas que ingerem fezes.' data2 = db.get_all_news_from_no_class('acidigital') for d in data2: stimmer(d) # teste,clazz=d # testestemming = [] # stemmer = nltk.stem.RSLPStemmer() # for palavrastreinamento in teste.split(): # comstem = [p for p in palavrastreinamento.split()] # testestemming.append(str(stemmer.stem(comstem[0]))) # # print(testestemming) # # # novo = p.extrairFrase(testestemming) # # # print(novo) # # print(classificador.labels())