def do(self):
"""
Install products by tornado worker
"""
parameters = None
dm = DependencyManager()
product_flat_list = [
dm.get_dependencies(product_name)
for product_name in self.product_names
]
product_list = InstallCommand.flat_deps4products(
product_flat_list, False)
if self.args_parameters.yml_params:
parameters = ParametersParserYmlFile(
self.args_parameters.yml_params).get()
elif self.args_parameters.json_params:
parameters = ParametersParserJsonFile(
self.args_parameters.json_params).get()
elif self.args_parameters.parameters:
parameters = ParametersParserStr(
self.args_parameters.parameters).get()
else:
# then fill with empty params
parameters = EmptyParameters().get(product_list)
# добывает список продуктов из списка имён
products = ProductCollection(product_list,
feeds=(self.core.feed, self.core.current),
ready_json=True)
# парсим параметры установки из запроса
# создаём менеджер параметров
parameter_manager = ParametersManager(self.core, products, parameters)
# все ли параметры заполнены?
if parameter_manager.are_all_parameters_filled():
# TODO move TornadoWorker to core
# create tornado worker
web.taskqueue.tornado_worker.TornadoWorker.create_instance()
# всё ок, создаём задание на установку
task = TaskFactory.create_task("install", products,
parameter_manager)
task_id = TaskManager.queue_task(task)
callback_exit = lambda job, exit_code: InstallCommand.console_exit(
self, job, exit_code)
TornadoWorker.start_new_task(task, callback_exit, False)
core.core.core_event_loop_start()
else:
raise InstallCommandError("Not all parameters specified")
def do(self):
"""
Do uninstall
"""
products = ProductCollection([product_name for product_name in self.product_names],
feed=Core.get_instance().current_storage.feed,
fail_on_product_not_found=False)
TornadoWorker.create_instance()
# всё ок, создаём задание на установку
task = TaskFactory.create_task("uninstall", products, EmptyParameters())
task_id = TaskManager.queue_task(task)
callback_exit = lambda job, exit_code: UninstallCommand.console_exit(self, job, exit_code)
TornadoWorker.start_new_task(task, callback_exit, False)
core.core.core_event_loop_start()
sys.exit(0)
def upgrade(request):
"""
Обрабатывает запросы на апгрейд продуктов.
Форматы входных запросов и выходных ответов такие же как для install()
"""
if request.method != 'POST':
# принимаем только пост-запросы
return HttpResponseNotAllowed(['POST'])
# парсим джейсон запрос
req = json_request(request)
initial = 'initial' in req
dm = DependencyManager()
requested_products = req['requested_products']
core = Core.get_instance()
if initial:
# если это начальный запрос, то отдаем дерево зависимостей
resp = {
'task':
None,
'items': [
dm.get_dependencies(product_name)
for product_name in requested_products
]
}
else:
# это запрос на апгрейд
# список имён продуктов, которые нужно апгрейдить (с зависимостями)
product_list = [item['product'] for item in req['install_products']]
product_list.reverse()
# добывает спсисоко продуктов из списка имён
products = ProductCollection(product_list)
parsed_parameters = ParametersParserJson(req['install_products']).get()
# создаём менеджер параметров
parameter_manager = ParametersManager(core, products,
parsed_parameters)
# создаёт задачу на апгрейд
task = TaskFactory.create_task("upgrade", products, parameter_manager)
task_id = TaskManager.queue_task(task)
TornadoWorker.start_new_task(task)
resp = {
'task': {
'id': task_id,
},
'items': None
}
return resp
def uninstall(request):
"""
Обрабатывает запросы на деинсталляцию продуктов.
"""
if request.method != 'POST':
# принимаем только пост-запросы
return HttpResponseNotAllowed(['POST'])
# парсим джейсон запрос
req = json_request(request)
# это начальный запрос ?
# список имён продуктов для деинсталляции
requested_products = req['requested_products']
# добываем список продуктов из списка имён
products = ProductCollection(
[product_name for product_name in requested_products],
feed=Core.get_instance().current_storage.feed,
# feed=Core.get_instance().feed,
fail_on_product_not_found=False)
if req["command"] == "start":
# для начального запроса отдает список продуктов
resp = {
'task': None,
'state': 'product_list',
'items': [
{
'product': product.to_dict(True),
'parameters': [],
'error': None
}
for product in products
]
}
else:
# создаём задачу на деинсталляцию
task = TaskFactory.create_task("uninstall", products)
task_id = TaskManager.queue_task(task)
TornadoWorker.start_new_task(task)
# и готовим ответ веб-интерфейсу, что уставнока началась
resp = {'task': {'id': task_id},
"state": "uninstalling"}
return resp
def run(self):
"""
Run task
"""
# set django env to load django settings.py and get database config
# os.environ.setdefault("DJANGO_SETTINGS_MODULE", "web.settings")
# from django.core import management
# append web module to python path
sys.path.append(os.path.join(self.core.settings.root, 'src', 'web'))
from web.taskqueue.tornado_worker import TornadoWorker
from web.taskqueue.models_peewee import TaskPeewee as Task
print("starting worker with frontend web on 7798")
web = TornadoWorker()
print("start listening server")
web.start()
def do(self):
"""
Install products by tornado worker
"""
parameters = None
dm = DependencyManager()
product_flat_list = [dm.get_dependencies(product_name) for product_name in self.product_names]
product_list = InstallCommand.flat_deps4products(product_flat_list, False)
if self.args_parameters.yml_params:
parameters = ParametersParserYmlFile(self.args_parameters.yml_params).get()
elif self.args_parameters.json_params:
parameters = ParametersParserJsonFile(self.args_parameters.json_params).get()
elif self.args_parameters.parameters:
parameters = ParametersParserStr(self.args_parameters.parameters).get()
else:
# then fill with empty params
parameters = EmptyParameters().get(product_list)
# добывает список продуктов из списка имён
products = ProductCollection(product_list, feeds=(self.core.feed, self.core.current), ready_json=True)
# парсим параметры установки из запроса
# создаём менеджер параметров
parameter_manager = ParametersManager(self.core, products, parameters)
# все ли параметры заполнены?
if parameter_manager.are_all_parameters_filled():
# TODO move TornadoWorker to core
# create tornado worker
web.taskqueue.tornado_worker.TornadoWorker.create_instance()
# всё ок, создаём задание на установку
task = TaskFactory.create_task("install", products, parameter_manager)
task_id = TaskManager.queue_task(task)
callback_exit = lambda job, exit_code: InstallCommand.console_exit(self, job, exit_code)
TornadoWorker.start_new_task(task, callback_exit, False)
core.core.core_event_loop_start()
else:
raise InstallCommandError("Not all parameters specified")
def uninstall(request):
"""
Обрабатывает запросы на деинсталляцию продуктов.
"""
if request.method != 'POST':
# принимаем только пост-запросы
return HttpResponseNotAllowed(['POST'])
# парсим джейсон запрос
req = json_request(request)
# это начальный запрос ?
# список имён продуктов для деинсталляции
requested_products = req['requested_products']
# добываем список продуктов из списка имён
products = ProductCollection(
[product_name for product_name in requested_products],
feed=Core.get_instance().current_storage.feed,
# feed=Core.get_instance().feed,
fail_on_product_not_found=False)
if req["command"] == "start":
# для начального запроса отдает список продуктов
resp = {
'task':
None,
'state':
'product_list',
'items': [{
'product': product.to_dict(True),
'parameters': [],
'error': None
} for product in products]
}
else:
# создаём задачу на деинсталляцию
task = TaskFactory.create_task("uninstall", products)
task_id = TaskManager.queue_task(task)
TornadoWorker.start_new_task(task)
# и готовим ответ веб-интерфейсу, что уставнока началась
resp = {'task': {'id': task_id}, "state": "uninstalling"}
return resp
def upgrade(request):
"""
Обрабатывает запросы на апгрейд продуктов.
Форматы входных запросов и выходных ответов такие же как для install()
"""
if request.method != 'POST':
# принимаем только пост-запросы
return HttpResponseNotAllowed(['POST'])
# парсим джейсон запрос
req = json_request(request)
initial = 'initial' in req
dm = DependencyManager()
requested_products = req['requested_products']
core = Core.get_instance()
if initial:
# если это начальный запрос, то отдаем дерево зависимостей
resp = {
'task': None,
'items': [dm.get_dependencies(product_name) for product_name in requested_products]
}
else:
# это запрос на апгрейд
# список имён продуктов, которые нужно апгрейдить (с зависимостями)
product_list = [item['product'] for item in req['install_products']]
product_list.reverse()
# добывает спсисоко продуктов из списка имён
products = ProductCollection(product_list)
parsed_parameters = ParametersParserJson(req['install_products']).get()
# создаём менеджер параметров
parameter_manager = ParametersManager(core, products, parsed_parameters)
# создаёт задачу на апгрейд
task = TaskFactory.create_task("upgrade", products, parameter_manager)
task_id = TaskManager.queue_task(task)
TornadoWorker.start_new_task(task)
resp = {
'task': {
'id': task_id,
},
'items': None
}
return resp
def do_task(task, lock):
"""
выполнить задание
:param task:
"""
try:
from web.taskqueue.tornado_worker import TornadoWorker
task.status = task.STATUS_RUNNING
task.save()
logging.debug('get task #{0}: {1}'.format(task.id, task.title))
task.execute()
task.status = task.STATUS_DONE
task.save()
TornadoWorker.clear_lock(lock)
logging.debug('Done task {0}'.format(task.id))
except Exception as e:
tb = traceback.format_exc()
task.status = task.STATUS_EXCEPTION
task.error_message = 'An error occurred during execution of task {0}.\r\nMessage: {1}\r\n{2}'.format(
task.id, e, tb)
task.save()
TornadoWorker.clear_lock(lock)
logging.error(task.error_message)
sys.exit(1)
def install(request):
"""
Этот вызов используется для передать в веб-интерфейс дерево зависимостей
и принять от него запрос на установку.
Примеры запросов и ответов:
начальный запрос:
command: "start"
requested_products: [JavaJettyTemplate]
ответ:
task:
id: 168
url: /task/168/
items:
paramters: [...]
product:
name: ...
title: ...
and:
- item 1...
- item 2...
"""
# TODO do not give ability to install application through this function
if request.method != 'POST':
# принимаем только пост-запросы
resp = HttpResponseNotAllowed(['POST'])
return resp
# джейсон запрос в питоний словарь
req = json_request(request)
# это начальный запрос?
dm = DependencyManager()
core = Core.get_instance()
# продукты, которые запрошены на установку (без зависимостей)
requested_products = req['requested_products']
if req["command"] == "start":
# если это начальный запрос, то отдаем дерево зависимостей
resp = {
'task': None,
"state": "requirements",
'items': [dm.get_dependencies(product_name) for product_name in requested_products]
}
else:
# это запрос на установку
# список имён продуктов, которые нужно установить
# ВАЖНЫЙ МОМЕНТ (с зависимостями)
product_list = [item['product'] for item in req['install_products']]
# переворачиваем его
product_list.reverse()
# добывает спсисоко продуктов из списка имён
products = ProductCollection(product_list, feeds=(core.feed, core.current))
# парсим параметры установки из запроса
parsed_parameters = ParametersParserJson(req['install_products']).get()
# создаём менеджер параметров
parameter_manager = ParametersManager(core, products, parsed_parameters)
# все ли параметры заполнены?
if parameter_manager.are_all_parameters_filled():
# всё ок, создаём задание на установку
task = TaskFactory.create_task("install", products, parameter_manager)
task_id = TaskManager.queue_task(task)
TornadoWorker.start_new_task(task)
# и готовим ответ веб-интерфейсу, что уставнока началась
resp = {
'task': {
'id': task_id,
},
}
else:
# что-то не так с параметрами, возвращаем в веб морду ошибку
resp = {
'task': None,
'items': [dm.get_dependencies(product_name) for product_name in req['requested_products']],
'error': [parameter_manager.get_error(product) for product in products]
}
return resp
def install(request):
"""
Этот вызов используется для передать в веб-интерфейс дерево зависимостей
и принять от него запрос на установку.
Примеры запросов и ответов:
начальный запрос:
command: "start"
requested_products: [JavaJettyTemplate]
ответ:
task:
id: 168
url: /task/168/
items:
paramters: [...]
product:
name: ...
title: ...
and:
- item 1...
- item 2...
"""
# TODO do not give ability to install application through this function
if request.method != 'POST':
# принимаем только пост-запросы
resp = HttpResponseNotAllowed(['POST'])
return resp
# джейсон запрос в питоний словарь
req = json_request(request)
# это начальный запрос?
dm = DependencyManager()
core = Core.get_instance()
# продукты, которые запрошены на установку (без зависимостей)
requested_products = req['requested_products']
if req["command"] == "start":
# если это начальный запрос, то отдаем дерево зависимостей
resp = {
'task':
None,
"state":
"requirements",
'items': [
dm.get_dependencies(product_name)
for product_name in requested_products
]
}
else:
# это запрос на установку
# список имён продуктов, которые нужно установить
# ВАЖНЫЙ МОМЕНТ (с зависимостями)
product_list = [item['product'] for item in req['install_products']]
# переворачиваем его
product_list.reverse()
# добывает спсисоко продуктов из списка имён
products = ProductCollection(product_list,
feeds=(core.feed, core.current))
# парсим параметры установки из запроса
parsed_parameters = ParametersParserJson(req['install_products']).get()
# создаём менеджер параметров
parameter_manager = ParametersManager(core, products,
parsed_parameters)
# все ли параметры заполнены?
if parameter_manager.are_all_parameters_filled():
# всё ок, создаём задание на установку
task = TaskFactory.create_task("install", products,
parameter_manager)
task_id = TaskManager.queue_task(task)
TornadoWorker.start_new_task(task)
# и готовим ответ веб-интерфейсу, что уставнока началась
resp = {
'task': {
'id': task_id,
},
}
else:
# что-то не так с параметрами, возвращаем в веб морду ошибку
resp = {
'task':
None,
'items': [
dm.get_dependencies(product_name)
for product_name in req['requested_products']
],
'error':
[parameter_manager.get_error(product) for product in products]
}
return resp
