def tratar_dados(data_treino, data_teste, teste): tratamentoDados(data_treino.copy(), "OHE") tratamentoDados(data_treino.copy(), "tfidf") # Carregar os dados tratados data_treino = pickles.carregarPickle("data") label_treino = pickles.carregarPickle("label") tfidf_treino = pickles.carregarPickle("tfidf") # Retirando naturezas com numero de empenhos menor que X depois da limpesa label_treino, index_label_x_empenhos = tratar_label.label_elemento( label_treino["natureza_despesa_cod"], 2) label_treino = pd.DataFrame(label_treino)["natureza_despesa_cod"] data_treino.drop(index_label_x_empenhos, inplace=True, axis=0) data_treino.reset_index(drop=True, inplace=True) tfidf_treino.drop(index_label_x_empenhos, inplace=True, axis=0) tfidf_treino.reset_index(drop=True, inplace=True) del index_label_x_empenhos # Tamanhos dos dados de treino tratados print("OHE_treino", data_treino.shape) print("TF-IDF_treino", tfidf_treino.shape) visao_dupla_treino = csr_matrix( sparse.hstack((csr_matrix(data_treino), csr_matrix(tfidf_treino)))) print("Visao dupla, dados combinados do treino", visao_dupla_treino.shape) if (teste): # Aplicar o tratamento no teste tfidf_teste, label_teste = tratarDados(data_teste.copy(), 'tfidf') data_teste, label_teste = tratarDados(data_teste.copy(), 'OHE') # Retirando naturezas com numero de empenhos menor que X depois da limpesa label_teste, index_label_x_empenhos = tratar_label.label_elemento( label_teste["natureza_despesa_cod"], 2) label_teste = pd.DataFrame(label_teste)["natureza_despesa_cod"] data_teste.drop(index_label_x_empenhos, inplace=True, axis=0) data_teste.reset_index(drop=True, inplace=True) tfidf_teste.drop(index_label_x_empenhos, inplace=True, axis=0) tfidf_teste.reset_index(drop=True, inplace=True) # Tamanhos dos dados de treino tratados print("OHE_teste", data_teste.shape) print("TF-IDF_teste", tfidf_teste.shape) visao_dupla_teste = csr_matrix( sparse.hstack((csr_matrix(data_teste), csr_matrix(tfidf_teste)))) print("Visao dupla, dados combinados do testes", visao_dupla_teste.shape) return data_treino, label_treino, data_teste, label_teste, tfidf_treino, tfidf_teste, visao_dupla_treino, visao_dupla_teste else: return data_treino, label_treino, tfidf_treino, visao_dupla_treino
def load_dados(pouca_natureza, porcentagem_split): # Importando os dados do tribunal data = pd.read_csv("dadosTCE.csv", low_memory = False)[:500] data.drop("Empenho (Sequencial Empenho)(EOF).1", axis = 1, inplace = True) label = data["Natureza Despesa (Cod)(EOF)"] # Retirando naturezas com numero de empenhos menor ou igual a x label, index_label_x_empenhos = tratar_label.label_elemento(label, pouca_natureza) data.drop(index_label_x_empenhos,inplace = True, axis = 0) data.reset_index(drop = True, inplace = True) # Separando X% dos dados para selecao de hiperparametros data_treino, data_teste, label_treino, label_teste = train_test_split(data, label, test_size = porcentagem_split,stratify = label, random_state = 10) del data, label, label_teste, label_treino # Resetando os indexes dos dados data_treino.reset_index(drop = True, inplace = True) data_teste.reset_index(drop = True, inplace = True) return data_treino, data_teste
from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import StratifiedKFold from sklearn.model_selection import train_test_split #sys.argv = ["stacking.py","treino"] data = pd.read_csv("dadosTCE.csv",low_memory = False)[:500] data.drop("Empenho (Sequencial Empenho)(EOF).1", axis = 1, inplace = True) colunas = data.columns data.columns = [c.lower().replace(' ', '_') for c in data.columns] data.columns = [tratar_texto.removerCaracteresEspeciais(c)for c in data.columns] data.columns = [tratar_texto.tratarnomecolunas(c)for c in data.columns] data = filtro(data.copy()) data.columns = colunas label = data["Natureza Despesa (Cod)(EOF)"] # Retirando naturezas com numero de empenhos menor ou igual a x label, index_label_x_empenhos = tratar_label.label_elemento(label, 6) data.drop(index_label_x_empenhos,inplace = True, axis = 0) data.reset_index(drop = True, inplace = True) del index_label_x_empenhos if(sys.argv[1]=="treino"): # Separando 40% dos dados para selecao de hiperparametros data, data_teste, label, label_teste = train_test_split(data, label, test_size = 0.6,stratify = label, random_state = 10) del data_teste, label_teste # Resetando os indexes dos dados data.reset_index(drop = True, inplace = True) label.reset_index(drop = True, inplace = True) print(data.shape) #iniciando vetores resultadoOHE = pd.DataFrame([])
from tratarDados import tratarDados from scipy.sparse import csr_matrix from tratamentos import tratar_label from preparacaoDados import tratamentoDados from sklearn.model_selection import cross_validate from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split data = pd.read_csv("arquivos/dadosTCE.csv", low_memory=False) label = data["Natureza Despesa (Cod)(EOF)"] data['PerĂodo (Dia/Mes/Ano)(EOF)'] = [ xlrd.xldate_as_datetime(data['PerĂodo (Dia/Mes/Ano)(EOF)'].iloc[i], 0).date().isoformat() for i in range(data.shape[0]) ] # Retirando naturezas com numero de empenhos menor ou igual a x label, index_label_x_empenhos = tratar_label.label_elemento(label, 9) data.drop(index_label_x_empenhos, inplace=True, axis=0) data.reset_index(drop=True, inplace=True) # Separando treino e teste data, data_teste, label, label_teste = train_test_split(data, label, test_size=0.3, stratify=label, random_state=10) print("Tamanho dos dados de treino", data.shape) print("Tamanho dos dados de teste", data_teste.shape) # Tratando os documentos de treino e salvando os modelos para serem aplicados no teste data.reset_index(drop=True, inplace=True) data_teste.reset_index(drop=True, inplace=True) label.reset_index(drop=True, inplace=True) label_teste.reset_index(drop=True, inplace=True)
# Aquisicao dos dados dados = pd.read_csv("dadosTCE.csv", low_memory=False)[:500] dados.drop("Empenho (Sequencial Empenho)(EOF).1", axis=1, inplace=True) # Limpeza colunas = dados.columns dados.columns = [c.lower().replace(' ', '_') for c in dados.columns] dados.columns = [ tratar_texto.removerCaracteresEspeciais(c) for c in dados.columns ] dados.columns = [tratar_texto.tratarnomecolunas(c) for c in dados.columns] dados = filtro(dados.copy()) dados.columns = colunas # Retirando naturezas com numero de empenhos menor ou igual a 3 para fazer a divisao de treino ,teste e validacao label = pd.DataFrame(dados["Natureza Despesa (Cod)(EOF)"]) label, index_label_x_empenhos = tratar_label.label_elemento( label['Natureza Despesa (Cod)(EOF)'], 3) dados.drop(index_label_x_empenhos, inplace=True, axis=0) dados.reset_index(drop=True, inplace=True) del index_label_x_empenhos # Separacao dos dados em treino, teste e validacao dados, dados_test, label, label_test = train_test_split(dados, label, test_size=0.3, stratify=label, random_state=10) del label, label_test # Resetando os indexes dados.reset_index(drop=True, inplace=True) dados_test.reset_index(drop=True, inplace=True) print("Treino: ", dados.shape) print("Test: ", dados_test.shape)