def v2():
testes = dou_service.find_all("licitacao_v2")
saida = []
for teste in testes:
obj = licitacao_out.LicitacaoOut2(teste.get("titulo"),
teste.get("dados"),
teste.get("pregao"),
teste.get("tipo"),
teste.get("empresa"))
saida.append(obj)
return jsonify(saida)
def report_raiz():
filewriter = open("todos.txt", "a")
lista = dou_service.find_all("licitacoes_v2")
for obj in lista:
string = obj.get("titulo") + "," + \
obj.get("dados") + "," + \
obj.get("pregao") + "," + \
obj.get("tipo") + "," + \
obj.get("empresa")
print(string)
filewriter.write(string)
filewriter.close()
import re
import pandas as pd
from nltk.stem import SnowballStemmer
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.metrics import confusion_matrix, classification_report, accuracy_score
from sklearn.model_selection import train_test_split
from DOU_HTML.DOU_HTML.service import dou_service
# Sao recuperados todos as licitacoes classificadas
treinados = list(dou_service.find_all("classificado"))
# As licitacoes sao convertidas em um DataFrame
df = pd.DataFrame.from_dict(treinados)
# O DataFrame e dividio entre dados e tags
dados = df.iloc[:, 1]
tags = df.iloc[:, 2]
documentos = []
# Aqui comeca o processamento das palavras contidas nos dados
stemmer = SnowballStemmer("portuguese")
for info in range(0, len(dados)):
# Remove os caracteres especiais
documento = re.sub(r'\W', ' ', str(dados[info]))
# Remove espacos multiplos
documento = re.sub(r'\s+', ' ', documento, flags=re.I)
# Converte para caixa baixa
documento = documento.lower()
# Separa as palavras
from DOU_HTML.DOU_HTML.model import licitacao_out
from DOU_HTML.DOU_HTML.service import dou_service
lista = dou_service.find_all("licitacao_saida")
resultado = []
for obj in lista:
print(obj.get("dados"))
empresa = input()
novo = licitacao_out.LicitacaoOut2(obj.get("titulo"),
obj.get("dados"),
obj.get("pregao"),
obj.get("tipo"),
empresa)
dou_service.salva_obj(novo, "licitacao_v2")
from DOU_HTML.DOU_HTML.model import licitacao_out
from DOU_HTML.DOU_HTML.service import dou_service
objs = dou_service.find_all("classificado")
for obj in objs:
novo = licitacao_out.LicitacaoOut(
obj.get("data").get("titulos")[0],
obj.get("data").get("corpo")[0], obj.get("tag_pregao"),
obj.get("tag_tipo"))
dou_service.salva_obj(novo, "licitacao_saida")
from DOU_HTML.DOU_HTML.model import licitacao_com_tags
from DOU_HTML.DOU_HTML.service import dou_service
# Metodo da camada de armazenamento que retorna todas os objetos salvos
todas = list(dou_service.find_all("licitacoes"))
# Para cada objeto retornado
for separado in todas:
# Exibimos os dados do corpo da licitacao
print(separado["corpo"])
# O usuario informa o tipo de pregao
tag_pregao = input("Informe tipo do pregao: ")
if tag_pregao == "e":
tag_pregao = "eletronico"
else:
tag_pregao = "presencial"
# O usuario informa o tipo de licitacao
tag_tipo = input("Informe servico produto ou ambos: ")
if tag_tipo == "a":
tag_tipo = "ambos"
elif tag_tipo == "s":
tag_tipo = "servico"
else:
tag_tipo = "produto"
# A licitacao e carregada em um objeto
obj = licitacao_com_tags.LicitacaoComTags(separado, tag_pregao, tag_tipo)
# O id do objeto salvo no banco e exibido na tela
print(dou_service.salva_obj(obj, "classificado"))