def contruir_corpus_experimento(self): '''Contruye el dataset''' c = Corpus() if self.tamanio == 'BI': busquedaInicial=leer_archivo(open(self.directorio+'bi.csv','r'), eliminar_primero=True) clasificados = leer_archivo(open(self.directorio+'clasificados.csv', 'r'),eliminar_primero=True) elif self.tamanio == 'Univ': busquedaInicial=leer_archivo(open(self.directorio++'dataPapers.csv','r'), eliminar_primero=True) clasificados = leer_archivo(open(self.directorio++'validacion.csv', 'r'),eliminar_primero=True) conjuntoA=leer_archivo(open(self.directorio+'a.csv','r'),eliminar_primero=True) conjuntoS=leer_archivo(open(self.directorio+'s.csv','r'),eliminar_primero=True) conjuntoJ=leer_archivo(open(self.directorio+'j.csv','r'),eliminar_primero=True) conjuntoO=leer_archivo(open(self.directorio+'o.csv','r'),eliminar_primero=True) xmls = self.obtener_xmls() #Archivos con los eid de los papers que van a conformar la red ##archivo_papers_red = dividir_archivo_fecha(open(self.directorio+'relevantes.csv'), open(self.directorio+'relevantesFecha.csv'), 2013) archivo_papers_red = open(self.directorio+'bi.csv') #Lista con los eid de los papers que van a conformar la red lista_papers_red = leer_archivo(archivo_papers_red, eliminar_primero=True) #Autores-papers de la red dicci_contruir_red = obtener_autores(xmls, lista_papers_red) #Aqué deberían estar todos los autores-papers del corpus dicci_todos_autores_papers = obtener_autores(xmls, leer_archivo(open(self.directorio+'bi.csv'), eliminar_primero=True)) #c.construir_corpus(self.nombre_corpus, busquedaInicial, conjuntoA, conjuntoS, conjuntoJ, conjuntoO, clasificados, # conjuntos_red=dicci_contruir_red, diccionario_todos_autores=dicci_todos_autores_papers) c.construir_corpus(self.nombre_corpus, busquedaInicial, conjuntoA, conjuntoS, conjuntoJ, conjuntoO, clasificados)
def xmls_to_red(xmls, nombre): '''Gernera un objeto Red, a partir de una lista de xml ''' diccionario_autores = obtener_autores(xmls, leer_archivo(open('CVSs/relevantes.csv'), eliminar_primero=False)) lista_autores = [] lista_nombres = [] for autor in diccionario_autores: lista_autores.append(diccionario_autores[autor]) lista_nombres.append(autor) return Red(lista_autores, nombre, lista_nombres)
def xmls_to_red(xmls, nombre): '''Gernera un objeto Red, a partir de una lista de xml ''' diccionario_autores = obtener_autores(xmls) lista_autores = [] lista_nombres = [] for autor in diccionario_autores: lista_autores.append(diccionario_autores[autor]) lista_nombres.append(autor) return Red(lista_autores, 'red', lista_nombres)
def prueba(): c = Corpus() busquedaInicial=leer_archivo(open(c.DIRECTORIO_CVS+'bi.csv','r'), eliminar_primero=True) #busquedaInicial=leer_archivo(open(c.DIRECTORIO_CVS+'dataPapers.csv','r'), eliminar_primero=True) conjuntoA=leer_archivo(open(c.DIRECTORIO_CVS+'a.csv','r'),eliminar_primero=True) conjuntoS=leer_archivo(open(c.DIRECTORIO_CVS+'s.csv','r'),eliminar_primero=True) conjuntoJ=leer_archivo(open(c.DIRECTORIO_CVS+'j.csv','r'),eliminar_primero=True) conjuntoO=leer_archivo(open(c.DIRECTORIO_CVS+'o.csv','r'),eliminar_primero=True) clasificados = leer_archivo(open(c.DIRECTORIO_CVS+'clasificados.csv', 'r'),eliminar_primero=True) #clasificados = leer_archivo(open(c.DIRECTORIO_CVS+'validacion.csv', 'r'),eliminar_primero=True) xmls = [open('XMLs/xml0.xml'),open('XMLs/xml1.xml'),open('XMLs/xml2.xml'),open('XMLs/xml3.xml')] #c.construir_corpus(busquedaInicial, conjuntoA, conjuntoS, conjuntoJ, conjuntoO, clasificados, conjuntos_red=obtener_autores(xmls, leer_archivo(open('CVSs/relevantes.csv'), eliminar_primero=False))) #Archivos con los eid de los papers que van a conformar la red archivo_papers_red = dividir_archivo_fecha(open('CVSs/EISC/relevantes.csv'), open('CVSs/EISC/relevantesFecha.csv'), 2013) #Lista con los eid de los papers que van a conformar la red lista_papers_red = leer_archivo(archivo_papers_red, eliminar_primero=False) #Autores-papers de la red dicci_contruir_red = obtener_autores(xmls, lista_papers_red) #Aqué deberían estar todos los autores-papers del corpus dicci_todos_autores_papers = obtener_autores(xmls, leer_archivo(open('CVSs/EISC/bi.csv'), eliminar_primero=True)) c.construir_corpus(busquedaInicial, conjuntoA, conjuntoS, conjuntoJ, conjuntoO, clasificados, c.DIRECTORIO_CVS, conjuntos_red=dicci_contruir_red, diccionario_todos_autores=dicci_todos_autores_papers)
def analisisView(request): print 'hola' diccionario_autores = obtener_autores([open('busqueda.xml')]) lista_autores = [] lista_nombres = [] for autor in diccionario_autores: lista_autores.append(diccionario_autores[autor]) lista_nombres.append(autor) r=Red(lista_autores, 'autores3', lista_nombres) nodos, aristas = r.generar_json() nodos1=json.dumps(nodos) aristas1= json.dumps(aristas) #return render(request, "GestionAnalisis/Analisis.html", {"nodos":nodos, "aristas":aristas}) return render(request, "GestionAnalisis/Analisis.html", {"nodos":nodos1, "aristas":aristas1})
def analisisView(request): print 'hola' diccionario_autores = obtener_autores([open('busqueda.xml')]) lista_autores = [] lista_nombres = [] for autor in diccionario_autores: lista_autores.append(diccionario_autores[autor]) lista_nombres.append(autor) r = Red(lista_autores, 'autores3', lista_nombres) nodos, aristas = r.generar_json() nodos1 = json.dumps(nodos) aristas1 = json.dumps(aristas) #return render(request, "GestionAnalisis/Analisis.html", {"nodos":nodos, "aristas":aristas}) return render(request, "GestionAnalisis/Analisis.html", { "nodos": nodos1, "aristas": aristas1 })
def corpus_univalle(): c = Corpus() #busquedaInicial=leer_archivo(open(c.DIRECTORIO_CVS+'bi.csv','r'), eliminar_primero=True) busquedaInicial=leer_archivo(open(c.DIRECTORIO_CVS+'dataPapers.csv','r'), eliminar_primero=True) conjuntoA=leer_archivo(open(c.DIRECTORIO_CVS+'a.csv','r'),eliminar_primero=True) conjuntoS=leer_archivo(open(c.DIRECTORIO_CVS+'s.csv','r'),eliminar_primero=True) conjuntoJ=leer_archivo(open(c.DIRECTORIO_CVS+'j.csv','r'),eliminar_primero=True) conjuntoO=leer_archivo(open(c.DIRECTORIO_CVS+'o.csv','r'),eliminar_primero=True) #clasificados = leer_archivo(open(c.DIRECTORIO_CVS+'clasificados.csv', 'r'),eliminar_primero=True) clasificados = leer_archivo(open(c.DIRECTORIO_CVS+'validacion.csv', 'r'),eliminar_primero=True) xmls = [open('XMLs/xml0.xml'),open('XMLs/xml1.xml'),open('XMLs/xml2.xml'),open('XMLs/xml3.xml')] #c.construir_corpus(busquedaInicial, conjuntoA, conjuntoS, conjuntoJ, conjuntoO, clasificados, conjuntos_red=obtener_autores(xmls, leer_archivo(open('CVSs/relevantes.csv'), eliminar_primero=False))) c.construir_corpus(busquedaInicial, conjuntoA, conjuntoS, conjuntoJ, conjuntoO, clasificados, conjuntos_red=obtener_autores(xmls, leer_archivo(dividir_archivo_fecha(open('CVSs/relevantes.csv'), open('CVSs/relevantesFecha.csv'), 2011), eliminar_primero=False)), diccionario_todos_autores=obtener_autores(xmls, leer_archivo(open('CVSs/relevantes.csv'), eliminar_primero=False)))