def importa_contactos(self, lista_rapida):
parser = ParserCsv()
try:
estructura_archivo = parser.get_estructura_archivo(lista_rapida)
cantidad_contactos = 0
if lista_rapida.cantidad_contactos:
cantidad_contactos = lista_rapida.cantidad_contactos
for lista_dato in estructura_archivo[1:]:
cantidad_contactos += 1
ContactoListaRapida.objects.create(
nombre=lista_dato[0],
telefono=lista_dato[1],
lista_rapida=lista_rapida,
)
except OmlParserMaxRowError:
lista_rapida.elimina_contactos()
raise
except OmlParserCsvImportacionError:
lista_rapida.elimina_contactos()
raise
lista_rapida.cantidad_contactos = cantidad_contactos
lista_rapida.save()
def importa_contactos(self, backlist):
"""
Segundo paso de la creación de una Backlist.
Este método se encarga de generar los objectos Contacto por cada linea
del archivo de importación especificado para la base de datos de
contactos.
"""
parser = ParserCsv()
try:
estructura_archivo = parser.get_estructura_archivo(backlist)
cantidad_contactos = 0
if backlist.cantidad_contactos:
cantidad_contactos = backlist.cantidad_contactos
for lista_dato in estructura_archivo[1:]:
cantidad_contactos += 1
ContactoBacklist.objects.create(
telefono=lista_dato[0],
back_list=backlist,
)
except OmlParserMaxRowError:
backlist.elimina_contactos()
raise
except OmlParserCsvImportacionError:
backlist.elimina_contactos()
raise
backlist.cantidad_contactos = cantidad_contactos
backlist.save()
def valida_contactos(self, base_datos_contacto):
"""
Validacion para ver si existe en la base de datos el contacto
"""
assert (base_datos_contacto.estado in
(BaseDatosContacto.ESTADO_EN_DEFINICION,
BaseDatosContacto.ESTADO_DEFINIDA_ACTUALIZADA))
parser = ParserCsv()
try:
estructura_archivo = parser.get_estructura_archivo(
base_datos_contacto)
cantidad_contactos = 0
for lista_dato in estructura_archivo[1:]:
cantidad_contactos += 1
contacto = Contacto.objects.filter(
# id_cliente=int(lista_dato[1]),
bd_contacto=base_datos_contacto
)
if len(contacto) > 0:
raise (ContactoExistenteError(_("ya existe el contacto con el"
" de id de cliente: {0}"
" la base de datos ".format(
int(lista_dato[1])))))
except OmlParserMaxRowError:
base_datos_contacto.elimina_contactos()
raise
except OmlParserCsvImportacionError:
base_datos_contacto.elimina_contactos()
raise
def get(self, request, *args, **kwargs):
self.object = self.get_object()
estructura_archivo = self.obtiene_previsualizacion_archivo(self.object)
if estructura_archivo:
parser = ParserCsv()
encoding = parser.detectar_encoding_csv(estructura_archivo)
estructura_archivo_transformada = parser.visualizar_estructura_template(
estructura_archivo, encoding)
try:
error_predictor = False
error_predictor_encabezado = False
predictor_metadata = PredictorMetadataService()
metadata = predictor_metadata.inferir_metadata_desde_lineas(
estructura_archivo, encoding)
except NoSePuedeInferirMetadataError:
initial_predecido_datos_extras = {}
initial_predecido_encabezado = {}
error_predictor = True
except NoSePuedeInferirMetadataErrorEncabezado:
initial_predecido_datos_extras = {}
initial_predecido_encabezado = {}
error_predictor_encabezado = True
else:
initial_predecido_datos_extras = dict([
('datos-extras-{0}'.format(col),
BaseDatosContacto.DATO_EXTRA_FECHA)
for col in metadata.columnas_con_fecha
])
initial_predecido_datos_extras.update(
dict([('datos-extras-{0}'.format(col),
BaseDatosContacto.DATO_EXTRA_HORA)
for col in metadata.columnas_con_hora]))
initial_predecido_encabezado = {
'es_encabezado': metadata.primer_fila_es_encabezado
}
form_primer_linea_encabezado = PrimerLineaEncabezadoForm(
initial=initial_predecido_encabezado)
form_campos_telefonicos = CamposDeBaseDeDatosForm(
nombres_campos=estructura_archivo[0])
return self.render_to_response(
self.get_context_data(
error_predictor_encabezado=error_predictor_encabezado,
error_predictor=error_predictor,
estructura_archivo=estructura_archivo_transformada,
form_primer_linea_encabezado=form_primer_linea_encabezado,
form_campos_telefonicos=form_campos_telefonicos))
return redirect(reverse('nueva_base_datos_contacto'))
def obtiene_previsualizacion_archivo(self, base_datos_contacto):
"""
Instancia el servicio ParserCsv e intenta obtener un resumen de las
primeras 3 lineas del csv.
"""
try:
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(
base_datos_contacto)
except OmlParserCsvDelimiterError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('No se pudo determinar el delimitador a ser utilizado '
'en el archivo csv. No se pudo llevar a cabo el procesamiento '
'de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserMinRowError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee menos de 3 filas. '
'No se pudo llevar a cabo el procesamiento de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserOpenFileError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó no pudo ser abierto para su procesamiento.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except Exception as e:
message = _(
'Error al procesar el archivo de base de contactos: {0}'.
format(e))
logger.error(message)
messages.add_message(
self.request,
messages.ERROR,
message,
)
else:
return estructura_archivo
def obtiene_previsualizacion_archivo(self, base_datos_contacto):
"""
Instancia el servicio ParserCsv e intenta obtener un resumen de las
primeras 3 lineas del csv.
"""
# TODO: OML-1012
# Estas validaciones deberían realizarse antes de crear la Base de datos
# Sino queda una instancia creada inutilizable
try:
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(
base_datos_contacto)
except OmlParserCsvDelimiterError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('No se pudo determinar el delimitador a ser utilizado '
'en el archivo csv. No se pudo llevar a cabo el procesamiento '
'de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserMinRowError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee menos de 3 filas. '
'No se pudo llevar a cabo el procesamiento de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserOpenFileError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó no pudo ser abierto para su procesamiento.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserRepeatedColumnsError as e:
message = _('<strong>Operación Errónea!</strong> ') + e.message
messages.add_message(
self.request,
messages.ERROR,
message,
)
else:
return estructura_archivo
def test_con_demas_planillas_de_ejemplo(self):
PLANILLAS = (
"planilla-ejemplo-1.csv",
"planilla-ejemplo-2.csv",
"planilla-ejemplo-7-celdas-vacias.csv",
"planilla-ejemplo-8-ultima-celda-vacia.csv",
)
for planilla in PLANILLAS:
logger.debug("Procesando planilla %s", planilla)
bd_contacto = BaseDatosContacto.objects.create(
nombre="base-datos-contactos-{0}".format(planilla),
archivo_importacion=self.copy_test_resource_to_mediaroot(
planilla),
nombre_archivo_importacion=planilla)
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(bd_contacto)
predictor_metadata = PredictorMetadataService()
metadata_inferida = predictor_metadata.inferir_metadata_desde_lineas(
estructura_archivo)
metadata = bd_contacto.get_metadata()
metadata._metadata = metadata_inferida._metadata
metadata.nombres_de_columnas = [
"COL{0}".format(num)
for num in range(metadata.cantidad_de_columnas)
]
metadata.save()
creacion_base_datos_service = CreacionBaseDatosService()
creacion_base_datos_service.importa_contactos(
bd_contacto, ["Telefono"], None)
creacion_base_datos_service.define_base_dato_contacto(bd_contacto)
# ----- checks
self.assertEquals(
BaseDatosContacto.objects.get(pk=bd_contacto.id).estado,
BaseDatosContacto.ESTADO_DEFINIDA,
"La BD generada desde '{0}' NO ha quedado en estado ESTADO_DEFINIDA"
"".format(planilla))
self.assertTrue(
Contacto.objects.filter(bd_contacto=bd_contacto.id).count() >
0, "La BD generada desde '{0}' NO posee contactos".format(
planilla))
def _obtiene_previsualizacion_archivo(self,
lista_rapida,
previsualizacion=True):
"""
Instancia el servicio ParserCsv e intenta obtener un resumen de las
primeras 3 lineas del csv.
"""
try:
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(
lista_rapida, previsualizacion)
except OmlParserCsvDelimiterError:
message = _(
'<strong>Operación Errónea!</strong> '
'No se pudo determinar el delimitador a ser utilizado '
'en el archivo csv. No se pudo llevar a cabo el procesamiento '
'de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserMinRowError:
message = _(
'<strong>Operación Errónea!</strong> '
'El archivo que seleccionó posee menos de 3 filas. '
'No se pudo llevar a cabo el procesamiento de sus datos.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
except OmlParserOpenFileError:
message = _(
'<strong>Operación Errónea!</strong> '
'El archivo que seleccionó no pudo ser abierto para su procesamiento.'
)
messages.add_message(
self.request,
messages.ERROR,
message,
)
else:
return estructura_archivo
def test_inferir_metadata_correctamente(self):
planilla = self.copy_test_resource_to_mediaroot("planilla-ejemplo-1.csv")
nombre_archivo = "planilla-ejemplo-10.csv"
base_test = BaseDatosContacto.objects.create(
nombre="test", archivo_importacion=planilla,
nombre_archivo_importacion=nombre_archivo, metadata="")
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(base_test)
predictor_metadata = PredictorMetadataService()
metadata = predictor_metadata.inferir_metadata_desde_lineas(estructura_archivo, "utf-8")
validador_nombre = ValidadorDeNombreDeCampoExtra()
for nombre_columna in metadata.nombres_de_columnas:
self.assertTrue(validador_nombre.validar_nombre_de_columna(
nombre_columna), "el nombre de columna es invalido")
def test_con_planilla_ejemplo_3(self):
bd_contacto = BaseDatosContacto.objects.create(
nombre="base-datos-contactos",
archivo_importacion=self.copy_test_resource_to_mediaroot(
"planilla-ejemplo-3-headers-con-no-ascii-y-espacios.csv"),
nombre_archivo_importacion=
'planilla-ejemplo-3-headers-con-no-ascii-y-espacios.csv')
parser = ParserCsv()
estructura_archivo = parser.previsualiza_archivo(bd_contacto)
predictor_metadata = PredictorMetadataService()
metadata_inferida = predictor_metadata.inferir_metadata_desde_lineas(
estructura_archivo)
metadata = bd_contacto.get_metadata()
metadata._metadata = metadata_inferida._metadata
metadata.nombres_de_columnas = ["Telefono", "NOMBRE", "FECHA", "HORA"]
metadata.columna_con_telefono = 0
metadata.columnas_con_telefono = [0]
metadata.save()
creacion_base_datos_service = CreacionBaseDatosService()
creacion_base_datos_service.importa_contactos(bd_contacto,
["Telefono"], None)
creacion_base_datos_service.define_base_dato_contacto(bd_contacto)
# ----- checks
self.assertEquals(
BaseDatosContacto.objects.get(pk=bd_contacto.id).estado,
BaseDatosContacto.ESTADO_DEFINIDA,
"La BD no ha quedado en estado ESTADO_DEFINIDA")
nros_telefono = [
contacto.telefono
for contacto in Contacto.objects.filter(bd_contacto=bd_contacto.id)
]
self.assertEquals(len(nros_telefono), 3, "Deberia haber 3 contactos")
self.assertEquals(
set(nros_telefono),
set(['354303459865', '111534509230', '283453013491']),
"Deberia haber 3 contactos")
def __init__(self) -> None:
self.parser = None
self.legacy_parser = ParserCsv()
def test_delimiter_incorrecto(self):
parser = ParserCsv()
with self.assertRaises(OmlParserCsvDelimiterError):
planilla = self.get_test_resource("planilla-ejemplo-5.csv")
parser._get_dialect(open(planilla, 'r'))
def test_cantidad_minima_de_filas(self):
planilla = self.get_test_resource("planilla-ejemplo-4.csv")
parser = ParserCsv()
with self.assertRaises(OmlParserMinRowError):
parser._get_dialect(open(planilla, 'r'))
def importa_contactos(self, base_datos_contacto, campos_telefonicos, columna_id_externo):
"""
Tercer paso de la creación de una BaseDatosContacto.
Este método se encarga de generar los objectos Contacto por cada linea
del archivo de importación especificado para la base de datos de
contactos.
"""
assert (base_datos_contacto.estado in
(BaseDatosContacto.ESTADO_EN_DEFINICION,
BaseDatosContacto.ESTADO_DEFINIDA_ACTUALIZADA))
# FIXME: este metodo valida la consistencia de los metadatos, y
# lanza una excepcion ante cualquier problema. OJO! Esto no implica
# que los metadatos sean correctos y consistentes con los datos,
# pero al menos validan la consistencia "interna" de los metadatos
# metadata = base_datos_contacto.get_metadata()
# metadata.validar_metadatos()
# Antes que nada, borramos los contactos preexistentes
# base_datos_contacto.elimina_contactos()
parser = ParserCsv()
ids_externos = base_datos_contacto.contactos.values_list('id_externo', flat=True)
ids_externos = set(ids_externos)
ids_nuevos_contactos = []
try:
estructura_archivo = parser.get_estructura_archivo(base_datos_contacto)
posicion_primer_telefono = estructura_archivo[0].index(
str(campos_telefonicos[0]))
cantidad_contactos = 0
if base_datos_contacto.cantidad_contactos:
cantidad_contactos = base_datos_contacto.cantidad_contactos
numero_fila = 0
for lista_dato in estructura_archivo[1:]:
numero_fila += 1
telefono, datos, id_externo = self.obtener_telefono_y_datos(
lista_dato, posicion_primer_telefono, columna_id_externo)
cantidad_contactos += 1
if id_externo is not None and id_externo != '':
# El id_externo no puede estar repetido
if id_externo in ids_externos:
base_datos_contacto.contactos.filter(id__in=ids_nuevos_contactos).delete()
raise(CreacionBaseDatosServiceIdExternoError(numero_fila,
columna_id_externo,
lista_dato,
id_externo))
else:
ids_externos.add(id_externo)
contacto = Contacto.objects.create(
telefono=telefono,
datos=datos,
bd_contacto=base_datos_contacto,
id_externo=id_externo
)
ids_nuevos_contactos.append(contacto.id)
except OmlParserMaxRowError:
base_datos_contacto.contactos.filter(id__in=ids_nuevos_contactos).delete()
raise
except OmlParserCsvImportacionError:
base_datos_contacto.contactos.filter(id__in=ids_nuevos_contactos).delete()
raise
base_datos_contacto.cantidad_contactos = cantidad_contactos
base_datos_contacto.save()
def form_valid(self, estructura_archivo, form_primer_linea_encabezado,
form_campos_telefonicos):
# columna_con_telefono = int(form_columna_telefono.cleaned_data.get(
# 'telefono', None))
# cantidad_columnas = len(form_nombre_columnas.fields)
cantidad_columnas = len(estructura_archivo[0])
# for numero_columna in range(cantidad_columnas):
# dato_extra = form_datos_extras.cleaned_data.get(
# 'datos-extras-{0}'.format(numero_columna), None)
# if dato_extra == BaseDatosContacto.DATO_EXTRA_FECHA:
# lista_columnas_fechas.append(numero_columna)
# elif dato_extra == BaseDatosContacto.DATO_EXTRA_HORA:
# lista_columnas_horas.append(numero_columna)
#
# nombre_columna = form_nombre_columnas.cleaned_data.get(
# 'nombre-columna-{0}'.format(numero_columna), None)
#
# validador_nombre = ValidadorDeNombreDeCampoExtra()
# if not validador_nombre.validar_nombre_de_columna(nombre_columna):
# error = 'El nombre de la Columna{0} no es válido. Debe estar \
# en mayúscula y sin espacios. Por ejemplo: \
# TELEFONO_FIJO'.format(numero_columna)
#
# return self.form_invalid(estructura_archivo,
# #form_columna_telefono,
# #form_datos_extras,
# #form_nombre_columnas,
# form_primer_linea_encabezado,
# error=error)
#
# lista_nombre_columnas.append(nombre_columna)
# error = None
# lista_columnas_encabezado = estructura_archivo[0]
# if lista_columnas_encabezado[0] != 'telefono':
# error = _("El nombre de la primera columna debe ser telefono")
# if error:
# return self.form_invalid(estructura_archivo,
# form_primer_linea_encabezado,
# form_campos_telefonicos, error=error)
parser = ParserCsv()
# Detecto el encondig de la base de datoss recientemente subida
encoding = parser.detectar_encoding_csv(estructura_archivo)
metadata = self.object.get_metadata()
metadata.cantidad_de_columnas = cantidad_columnas
# predictor_metadata = PredictorMetadataService()
# columnas_con_telefonos = predictor_metadata.inferir_columnas_telefono(
# estructura_archivo[1:], encoding)
campos_telefonicos = form_campos_telefonicos.cleaned_data.get(
'campos_telefonicos')
columnas_con_telefono = form_campos_telefonicos.columnas_de_telefonos
metadata.columnas_con_telefono = columnas_con_telefono
columna_id_externo = form_campos_telefonicos.columna_id_externo
if columna_id_externo is not None:
metadata.columna_id_externo = columna_id_externo
metadata.nombres_de_columnas = [
value.decode(encoding) for value in estructura_archivo[0]
]
es_encabezado = False
if self.request.POST.get('es_encabezado', False):
es_encabezado = True
metadata.primer_fila_es_encabezado = es_encabezado
metadata.save()
creacion_base_datos = CreacionBaseDatosService()
try:
# creacion_base_datos.valida_contactos(self.object)
creacion_base_datos.importa_contactos(self.object,
campos_telefonicos,
columna_id_externo)
except CreacionBaseDatosServiceIdExternoError as e:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee contactos con identificadores externos '
'repetidos.<br> '
'<u>Línea Inválida:</u> {0}<br> <u>Contenido Línea:</u>'
' {1}<br><u>ID repetido:</u> {2}').format(
e.numero_fila, e.fila, e.valor_celda)
messages.add_message(
self.request,
messages.ERROR,
message,
)
return self.render_to_response(
self.get_context_data(
estructura_archivo=estructura_archivo,
form_primer_linea_encabezado=form_primer_linea_encabezado))
except OmlParserCsvImportacionError as e:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee registros inválidos.<br> '
'<u>Línea Inválida:</u> {0}<br> <u>Contenido Línea:</u>'
'{1}<br><u>Contenido Inválido:</u> {2}').format(
e.numero_fila, e.fila, e.valor_celda)
messages.add_message(
self.request,
messages.ERROR,
message,
)
# FIXME: Ver bien que hacer acá.
except ContactoExistenteError as e:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee registros inválidos.<br> '
'ERROR: {0}. Vuelva a cargar nuevamente la base de datos '
'sin el contacto existente ').format(e)
messages.add_message(
self.request,
messages.ERROR,
message,
)
return self.render_to_response(
self.get_context_data(
estructura_archivo=estructura_archivo,
form_primer_linea_encabezado=form_primer_linea_encabezado,
form_campos_telefonicos=form_campos_telefonicos))
except OmlParserMaxRowError:
message = _('<strong>Operación Errónea!</strong> ') +\
_('El archivo que seleccionó posee más registros de los '
'permitidos para ser importados.')
messages.add_message(
self.request,
messages.ERROR,
message,
)
return redirect(reverse('lista_base_datos_contacto'))
else:
creacion_base_datos.define_base_dato_contacto(self.object)
message = _('<strong>Operación Exitosa!</strong> ') +\
_('Se llevó a cabo con éxito la creación de '
'la Base de Datos de Contactos.')
messages.add_message(
self.request,
messages.SUCCESS,
message,
)
return redirect(self.get_success_url())