def obtiene_previsualizacion_archivo(self, base_datos_contacto):
"""
Instancia el servicio ParserCsv e intenta obtener un resumen de las
primeras 3 lineas del csv.
"""
try:
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(
base_datos_contacto)
except OmlParserCsvDelimiterError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('No se pudo determinar el delimitador a ser utilizado '
'en el archivo csv. No se pudo llevar a cabo el procesamiento '
'de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserMinRowError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee menos de 3 filas. '
'No se pudo llevar a cabo el procesamiento de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserOpenFileError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó no pudo ser abierto para su procesamiento.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except Exception as e:
message = _(
'Error al procesar el archivo de base de contactos: {0}'.
format(e))
logger.error(message)
messages.add_message(
self.request,
messages.ERROR,
message,
)
else:
return estructura_archivo
def obtiene_previsualizacion_archivo(self, base_datos_contacto):
"""
Instancia el servicio ParserCsv e intenta obtener un resumen de las
primeras 3 lineas del csv.
"""
# TODO: OML-1012
# Estas validaciones deberían realizarse antes de crear la Base de datos
# Sino queda una instancia creada inutilizable
try:
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(
base_datos_contacto)
except OmlParserCsvDelimiterError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('No se pudo determinar el delimitador a ser utilizado '
'en el archivo csv. No se pudo llevar a cabo el procesamiento '
'de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserMinRowError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee menos de 3 filas. '
'No se pudo llevar a cabo el procesamiento de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserOpenFileError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó no pudo ser abierto para su procesamiento.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserRepeatedColumnsError as e:
message = _('<strong>Operación Errónea!</strong> ') + e.message
messages.add_message(
self.request,
messages.ERROR,
message,
)
else:
return estructura_archivo
def test_con_demas_planillas_de_ejemplo(self):
PLANILLAS = (
"planilla-ejemplo-1.csv",
"planilla-ejemplo-2.csv",
"planilla-ejemplo-7-celdas-vacias.csv",
"planilla-ejemplo-8-ultima-celda-vacia.csv",
)
for planilla in PLANILLAS:
logger.debug("Procesando planilla %s", planilla)
bd_contacto = BaseDatosContacto.objects.create(
nombre="base-datos-contactos-{0}".format(planilla),
archivo_importacion=self.copy_test_resource_to_mediaroot(
planilla),
nombre_archivo_importacion=planilla)
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(bd_contacto)
predictor_metadata = PredictorMetadataService()
metadata_inferida = predictor_metadata.inferir_metadata_desde_lineas(
estructura_archivo)
metadata = bd_contacto.get_metadata()
metadata._metadata = metadata_inferida._metadata
metadata.nombres_de_columnas = [
"COL{0}".format(num)
for num in range(metadata.cantidad_de_columnas)
]
metadata.save()
creacion_base_datos_service = CreacionBaseDatosService()
creacion_base_datos_service.importa_contactos(
bd_contacto, ["Telefono"], None)
creacion_base_datos_service.define_base_dato_contacto(bd_contacto)
# ----- checks
self.assertEquals(
BaseDatosContacto.objects.get(pk=bd_contacto.id).estado,
BaseDatosContacto.ESTADO_DEFINIDA,
"La BD generada desde '{0}' NO ha quedado en estado ESTADO_DEFINIDA"
"".format(planilla))
self.assertTrue(
Contacto.objects.filter(bd_contacto=bd_contacto.id).count() >
0, "La BD generada desde '{0}' NO posee contactos".format(
planilla))
def _obtiene_previsualizacion_archivo(self,
lista_rapida,
previsualizacion=True):
"""
Instancia el servicio ParserCsv e intenta obtener un resumen de las
primeras 3 lineas del csv.
"""
try:
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(
lista_rapida, previsualizacion)
except OmlParserCsvDelimiterError:
message = _(
'<strong>Operación Errónea!</strong> '
'No se pudo determinar el delimitador a ser utilizado '
'en el archivo csv. No se pudo llevar a cabo el procesamiento '
'de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserMinRowError:
message = _(
'<strong>Operación Errónea!</strong> '
'El archivo que seleccionó posee menos de 3 filas. '
'No se pudo llevar a cabo el procesamiento de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserOpenFileError:
message = _(
'<strong>Operación Errónea!</strong> '
'El archivo que seleccionó no pudo ser abierto para su procesamiento.'
)
messages.add_message(
self.request,
messages.ERROR,
message,
)
else:
return estructura_archivo
def test_inferir_metadata_correctamente(self):
planilla = self.copy_test_resource_to_mediaroot("planilla-ejemplo-1.csv")
nombre_archivo = "planilla-ejemplo-10.csv"
base_test = BaseDatosContacto.objects.create(
nombre="test", archivo_importacion=planilla,
nombre_archivo_importacion=nombre_archivo, metadata="")
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(base_test)
predictor_metadata = PredictorMetadataService()
metadata = predictor_metadata.inferir_metadata_desde_lineas(estructura_archivo, "utf-8")
validador_nombre = ValidadorDeNombreDeCampoExtra()
for nombre_columna in metadata.nombres_de_columnas:
self.assertTrue(validador_nombre.validar_nombre_de_columna(
nombre_columna), "el nombre de columna es invalido")
def test_con_planilla_ejemplo_3(self):
bd_contacto = BaseDatosContacto.objects.create(
nombre="base-datos-contactos",
archivo_importacion=self.copy_test_resource_to_mediaroot(
"planilla-ejemplo-3-headers-con-no-ascii-y-espacios.csv"),
nombre_archivo_importacion=
'planilla-ejemplo-3-headers-con-no-ascii-y-espacios.csv')
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(bd_contacto)
predictor_metadata = PredictorMetadataService()
metadata_inferida = predictor_metadata.inferir_metadata_desde_lineas(
estructura_archivo)
metadata = bd_contacto.get_metadata()
metadata._metadata = metadata_inferida._metadata
metadata.nombres_de_columnas = ["Telefono", "NOMBRE", "FECHA", "HORA"]
metadata.columna_con_telefono = 0
metadata.columnas_con_telefono = [0]
metadata.save()
creacion_base_datos_service = CreacionBaseDatosService()
creacion_base_datos_service.importa_contactos(bd_contacto,
["Telefono"], None)
creacion_base_datos_service.define_base_dato_contacto(bd_contacto)
# ----- checks
self.assertEquals(
BaseDatosContacto.objects.get(pk=bd_contacto.id).estado,
BaseDatosContacto.ESTADO_DEFINIDA,
"La BD no ha quedado en estado ESTADO_DEFINIDA")
nros_telefono = [
contacto.telefono
for contacto in Contacto.objects.filter(bd_contacto=bd_contacto.id)
]
self.assertEquals(len(nros_telefono), 3, "Deberia haber 3 contactos")
self.assertEquals(
set(nros_telefono),
set(['354303459865', '111534509230', '283453013491']),
"Deberia haber 3 contactos")
class BaseDatosContactoService(object):
def __init__(self) -> None:
self.parser = None
self.legacy_parser = ParserCsv()
def crear_bd_contactos(self, archivo, nombre_archivo, nombre_bd) -> int:
model_base_contactos = BaseDatosContacto()
if self._existe_bd_contactos(nombre_bd):
raise (OmlError(
_("Ya existe una base de datos de contactos con ese nombre")))
self.parser = BaseDatosContactoArchivoCSVParser(
nombre_archivo, archivo)
if not self.parser.es_valida_extension(
) or not self.parser.es_valido_archivo():
file_invalid_msg = _(
"El archivo especificado para realizar la importación de "
"contactos no es válido.")
raise (OmlArchivoImportacionInvalidoError(file_invalid_msg))
if not self.parser.headers_no_repetidos():
raise OmlParserRepeatedColumnsError(
_("El archivo a procesar tiene nombres de columnas "
"repetidos."))
model_base_contactos.archivo_importacion = archivo
model_base_contactos.nombre_archivo_importacion = nombre_archivo
model_base_contactos.nombre = nombre_bd
model_base_contactos.save()
return model_base_contactos.id
def define_base_datos_contactos(self, base_datos_contacto) -> None:
base_datos_contacto.define()
def obtiene_subconjunto_filas_archivo(self, base_datos_contacto) -> dict:
return self.legacy_parser.previsualiza_archivo(base_datos_contacto)
def inferir_metadata(self, estructura_archivo):
predictor_metadata = PredictorMetadataService()
return predictor_metadata.inferir_metadata_desde_lineas(
estructura_archivo)
def importa_contactos_desde_api(self, id, campos_telefonicos,
columna_id_externo):
bd_contactos = BaseDatosContacto.objects.obtener_en_actualizada_para_editar(
id)
self.importa_contactos(bd_contactos, campos_telefonicos,
columna_id_externo)
def importa_contactos(self, base_datos_contacto, campos_telefonicos,
columna_id_externo):
"""
Tercer paso de la creación de una BaseDatosContacto.
Este método se encarga de generar los objectos Contacto por cada linea
del archivo de importación especificado para la base de datos de
contactos.
"""
assert (base_datos_contacto.estado
in (BaseDatosContacto.ESTADO_EN_DEFINICION,
BaseDatosContacto.ESTADO_DEFINIDA_ACTUALIZADA))
ids_externos = base_datos_contacto.contactos.values_list('id_externo',
flat=True)
ids_externos = set(ids_externos)
ids_nuevos_contactos = []
try:
estructura_archivo = self.legacy_parser.get_estructura_archivo(
base_datos_contacto)
posicion_primer_telefono = estructura_archivo[0].index(
campos_telefonicos[0])
cantidad_contactos = 0
if base_datos_contacto.cantidad_contactos:
cantidad_contactos = base_datos_contacto.cantidad_contactos
numero_fila = 0
for lista_dato in estructura_archivo[1:]:
numero_fila += 1
telefono, datos, id_externo = self._obtener_telefono_y_datos(
lista_dato, posicion_primer_telefono, columna_id_externo)
cantidad_contactos += 1
if id_externo is not None and id_externo != '':
# El id_externo no puede estar repetido
if id_externo in ids_externos:
base_datos_contacto.contactos.filter(
id__in=ids_nuevos_contactos).delete()
raise CreacionBaseDatosServiceIdExternoError(
numero_fila, columna_id_externo, lista_dato,
id_externo)
else:
ids_externos.add(id_externo)
contacto = Contacto.objects.create(
telefono=telefono,
datos=datos,
bd_contacto=base_datos_contacto,
id_externo=id_externo)
ids_nuevos_contactos.append(contacto.id)
except CreacionBaseDatosServiceIdExternoError as e:
raise e
except OmlParserMaxRowError:
base_datos_contacto.contactos.filter(
id__in=ids_nuevos_contactos).delete()
raise OmlError(_("Archivo excede máximo de filas permitidas"))
except OmlParserCsvImportacionError:
base_datos_contacto.contactos.filter(
id__in=ids_nuevos_contactos).delete()
raise OmlError(_("Error al parsear el archivo csv"))
base_datos_contacto.cantidad_contactos = cantidad_contactos
base_datos_contacto.save()
self.define_base_datos_contactos(base_datos_contacto)
def _existe_bd_contactos(self, nombre) -> bool:
return BaseDatosContacto.objects.filter(nombre=nombre).exists()
def _obtener_telefono_y_datos(self, lista_dato, posicion_primer_telefono,
columna_id_externo) -> any:
id_externo = None
if len(lista_dato) > 1:
item = []
for i, valor in enumerate(lista_dato):
if i == posicion_primer_telefono:
telefono = valor
elif i == columna_id_externo:
id_externo = valor
else:
item.append(valor)
else:
telefono = lista_dato[0]
item = ['']
datos = json.dumps(item)
return telefono, datos, id_externo
def remove_db(self, id):
BaseDatosContacto.objects.filter(id=id).delete()