def test_update_many_ok():
"""test_update_many_ok"""
mongo_db_access = MongoDBAccess(CONFIG, "DEBUG")
mongo_db_access.insert("testUpdateMany_ok", {
"clave": "IPUpdateMany",
"value": 0
})
mongo_db_access.insert("testUpdateMany_ok", {
"clave": "IPUpdateMany",
"value": 0
})
res_update = mongo_db_access.update_many("testUpdateMany_ok",\
{"clave":"IPUpdateMany"}, {'value':1})
res_find = mongo_db_access.find("testUpdateMany_ok",
{"clave": "IPUpdateMany"})
count_elements = 0
for element_finding in res_find:
count_elements += 1
assert element_finding['value'] == 1
assert res_update.modified_count == 2
mongo_db_access.drop("testUpdateMany_ok")
assert count_elements == 2
def test_find_error_collection():
"""test_find_error_collection"""
mongo_db_access = MongoDBAccess(CONFIG, "DEBUG")
res = mongo_db_access.find("correoX", {})
count_elements = 0
for element_finding in res:
if element_finding != None:
count_elements += 1
assert count_elements == 0
def test_find_ok():
"""test_find_ok"""
mongo_db_access = MongoDBAccess(CONFIG, "DEBUG")
mongo_db_access.insert("testFind_ok", {"clave": "IPFind", "value": 0})
mongo_db_access.insert("testFind_ok", {"clave": "IPFind", "value": 1})
res = mongo_db_access.find("testFind_ok", {})
count_elements = 0
for element_finding in res:
if element_finding != None:
print "XXXXX"
count_elements = +1
mongo_db_access.drop("testFind_ok")
assert count_elements > 0
def test_find_error_filter():
"""test_find_error_filter"""
mongo_db_access = MongoDBAccess(CONFIG, "DEBUG")
mongo_db_access.insert("testFindErrorFilter", {
"clave": "IPFind",
"value": 0
})
res = mongo_db_access.find("testFindErrorFilter", {"xxx": "xxxx"})
count_elements = 0
for element_finding in res:
if element_finding != None:
count_elements += 1
mongo_db_access.drop("testFindErrorFilter")
assert count_elements == 0
def test_find_error_db():
"""test_find_error_db"""
mongo_db_access = MongoDBAccess(CONFIG_ERROR, "DEBUG")
res = mongo_db_access.find("correo", {})
assert res is None
class Vuelos(object):
"""find Flight"""
level_log = None
config = None
mongodbaccess = None
logger = None
def __init__(self, file_config, level_log):
self.level_log = level_log
self.logger = Logger(self.__class__.__name__, level_log).get()
try:
self.config = json.loads(open(file_config, "r").read())
self.mongodbaccess = MongoDBAccess(self.config, level_log)
except IOError:
self.logger.error("File Error: %s", file_config)
self.config = {}
self.mongodbaccess = MongoDBAccess({}, level_log)
self.logger.info("Inicio: %s", datetime.datetime.now())
def ejecutar(self, nivel):
""" run load process """
print "++ INFO ++ MODULO PRINCIPAL MODO DE EJECUCION: {0}".format(
nivel)
if nivel == "1":
print "-- INFO -- MODO 1 duro ejecuta y limpia los datos del dia"
#proceso duro vaciamos informacion y empezamos
print "++ INFO ++ Vaciamos informacion del dia"
print "-- INFO -- dia: {0}".format(today())
borrados = self.vaciar_dia()
print "-- INFO -- vaciamos informacion -- Vuelos borrados del dia: {0}"\
.format(borrados.deleted_count)
urls = BuildUrls(self.mongodbaccess, self.level_log).build_urls()
print "-- INFO -- construir urls -- numero de URLS: {0}".format(
urls)
else:
print "-- INFO -- MODO 0 suave solo si hay datos que ejecutar"
#proceso soft miramos si hay algo que procesar
#si no hay nada que procesar o el dia no se ha ejecutado.
if self.return_urls().count() == 0:
#no hay nada que ejecutar
if self.find_last_day() < today():
# ultimo dia es anterior a hoy a las 12... no se ha procesado
print "++ WARN ++ 1.1 PRIMERA VEZ DEL DIA creamos las URLS y seguimos"
urls = BuildUrls(self.mongodbaccess,
self.level_log).build_urls()
print "-- INFO -- construir urls -- numero de URLS: {0}".format(
urls)
else:
# ultimo dia posterior hoy a las 12... esta todo Ok
print "++ WARN ++ 1.2 SE HA PROCESADO TODO Y NO HAY NADA QUE HACER"
else:
if self.find_last_day() < today():
# prblemas en el paraiso ayer la cosa no fue bien. Reiniciamos y procesamos
print "** ERROR ** 2.1 AYER NO SE EJECUTARON TODOS LOS VUELOS"
print "** ERROR ** vuelos pendientes {0}".format(
self.return_urls().count())
self.logger.error("AYER no se ejecutaron todos los vuelos")
urls = BuildUrls(self.mongodbaccess,
self.level_log).build_urls()
print "-- INFO -- construir urls -- numero de URLS: {0}".format(
urls)
else:
#hay cosas que ejecutar
print "++ WARN ++ 2.2 HA HABIDO UNA CANCELACION y el "\
+"SISTEMA SIGUE DESDE ESE PUNTO"
print "++ WARN ++ vuelos pendientes {0}".format(
self.return_urls().count())
self.logger.error(
"Ha habido una cancelacion y se sigue desde ese punto")
result = FindFlights(self.config, self.mongodbaccess, self.level_log)\
.get_flights(self.return_urls())
print "++ INFO -- TOTAL PROCESO, Save: {0}".format(
result.get("save", 0))
print "++ INFO -- TOTAL PROCESO, errores sin Informacion: {0}".format(
result.get("warn", 0))
print "++ INFO -- TOTAL PROCESO, errores NO ENCONTRADO: {0}".format(
result.get("error", 0))
def vaciar_dia(self):
""" delete all info of day """
return self.mongodbaccess.delete_many("vuelos",
{"dBusqueda": {
"$gt": today()
}})
def return_urls(self):
""" doc to explain """
return self.mongodbaccess.find("urls", {})
def find_last_day(self):
""" doc to explain """
print "++ INFO ++ find_last_day"
if self.mongodbaccess.find_one("vuelos", {}, sort={"dBusqueda": -1
}) is None:
return datetime.datetime(2000, 01, 01)
else:
return self.mongodbaccess.find_one("vuelos", {}, sort={"dBusqueda":-1})\
.get("dBusqueda", "")