def do(self): """ Install products by tornado worker """ parameters = None dm = DependencyManager() product_flat_list = [ dm.get_dependencies(product_name) for product_name in self.product_names ] product_list = InstallCommand.flat_deps4products( product_flat_list, False) if self.args_parameters.yml_params: parameters = ParametersParserYmlFile( self.args_parameters.yml_params).get() elif self.args_parameters.json_params: parameters = ParametersParserJsonFile( self.args_parameters.json_params).get() elif self.args_parameters.parameters: parameters = ParametersParserStr( self.args_parameters.parameters).get() else: # then fill with empty params parameters = EmptyParameters().get(product_list) # добывает список продуктов из списка имён products = ProductCollection(product_list, feeds=(self.core.feed, self.core.current), ready_json=True) # парсим параметры установки из запроса # создаём менеджер параметров parameter_manager = ParametersManager(self.core, products, parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # TODO move TornadoWorker to core # create tornado worker web.taskqueue.tornado_worker.TornadoWorker.create_instance() # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) callback_exit = lambda job, exit_code: InstallCommand.console_exit( self, job, exit_code) TornadoWorker.start_new_task(task, callback_exit, False) core.core.core_event_loop_start() else: raise InstallCommandError("Not all parameters specified")
def do(self): """ Do uninstall """ products = ProductCollection([product_name for product_name in self.product_names], feed=Core.get_instance().current_storage.feed, fail_on_product_not_found=False) TornadoWorker.create_instance() # всё ок, создаём задание на установку task = TaskFactory.create_task("uninstall", products, EmptyParameters()) task_id = TaskManager.queue_task(task) callback_exit = lambda job, exit_code: UninstallCommand.console_exit(self, job, exit_code) TornadoWorker.start_new_task(task, callback_exit, False) core.core.core_event_loop_start() sys.exit(0)
def upgrade(request): """ Обрабатывает запросы на апгрейд продуктов. Форматы входных запросов и выходных ответов такие же как для install() """ if request.method != 'POST': # принимаем только пост-запросы return HttpResponseNotAllowed(['POST']) # парсим джейсон запрос req = json_request(request) initial = 'initial' in req dm = DependencyManager() requested_products = req['requested_products'] core = Core.get_instance() if initial: # если это начальный запрос, то отдаем дерево зависимостей resp = { 'task': None, 'items': [ dm.get_dependencies(product_name) for product_name in requested_products ] } else: # это запрос на апгрейд # список имён продуктов, которые нужно апгрейдить (с зависимостями) product_list = [item['product'] for item in req['install_products']] product_list.reverse() # добывает спсисоко продуктов из списка имён products = ProductCollection(product_list) parsed_parameters = ParametersParserJson(req['install_products']).get() # создаём менеджер параметров parameter_manager = ParametersManager(core, products, parsed_parameters) # создаёт задачу на апгрейд task = TaskFactory.create_task("upgrade", products, parameter_manager) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) resp = { 'task': { 'id': task_id, }, 'items': None } return resp
def uninstall(request): """ Обрабатывает запросы на деинсталляцию продуктов. """ if request.method != 'POST': # принимаем только пост-запросы return HttpResponseNotAllowed(['POST']) # парсим джейсон запрос req = json_request(request) # это начальный запрос ? # список имён продуктов для деинсталляции requested_products = req['requested_products'] # добываем список продуктов из списка имён products = ProductCollection( [product_name for product_name in requested_products], feed=Core.get_instance().current_storage.feed, # feed=Core.get_instance().feed, fail_on_product_not_found=False) if req["command"] == "start": # для начального запроса отдает список продуктов resp = { 'task': None, 'state': 'product_list', 'items': [ { 'product': product.to_dict(True), 'parameters': [], 'error': None } for product in products ] } else: # создаём задачу на деинсталляцию task = TaskFactory.create_task("uninstall", products) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) # и готовим ответ веб-интерфейсу, что уставнока началась resp = {'task': {'id': task_id}, "state": "uninstalling"} return resp
def run(self): """ Run task """ # set django env to load django settings.py and get database config # os.environ.setdefault("DJANGO_SETTINGS_MODULE", "web.settings") # from django.core import management # append web module to python path sys.path.append(os.path.join(self.core.settings.root, 'src', 'web')) from web.taskqueue.tornado_worker import TornadoWorker from web.taskqueue.models_peewee import TaskPeewee as Task print("starting worker with frontend web on 7798") web = TornadoWorker() print("start listening server") web.start()
def do(self): """ Install products by tornado worker """ parameters = None dm = DependencyManager() product_flat_list = [dm.get_dependencies(product_name) for product_name in self.product_names] product_list = InstallCommand.flat_deps4products(product_flat_list, False) if self.args_parameters.yml_params: parameters = ParametersParserYmlFile(self.args_parameters.yml_params).get() elif self.args_parameters.json_params: parameters = ParametersParserJsonFile(self.args_parameters.json_params).get() elif self.args_parameters.parameters: parameters = ParametersParserStr(self.args_parameters.parameters).get() else: # then fill with empty params parameters = EmptyParameters().get(product_list) # добывает список продуктов из списка имён products = ProductCollection(product_list, feeds=(self.core.feed, self.core.current), ready_json=True) # парсим параметры установки из запроса # создаём менеджер параметров parameter_manager = ParametersManager(self.core, products, parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # TODO move TornadoWorker to core # create tornado worker web.taskqueue.tornado_worker.TornadoWorker.create_instance() # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) callback_exit = lambda job, exit_code: InstallCommand.console_exit(self, job, exit_code) TornadoWorker.start_new_task(task, callback_exit, False) core.core.core_event_loop_start() else: raise InstallCommandError("Not all parameters specified")
def uninstall(request): """ Обрабатывает запросы на деинсталляцию продуктов. """ if request.method != 'POST': # принимаем только пост-запросы return HttpResponseNotAllowed(['POST']) # парсим джейсон запрос req = json_request(request) # это начальный запрос ? # список имён продуктов для деинсталляции requested_products = req['requested_products'] # добываем список продуктов из списка имён products = ProductCollection( [product_name for product_name in requested_products], feed=Core.get_instance().current_storage.feed, # feed=Core.get_instance().feed, fail_on_product_not_found=False) if req["command"] == "start": # для начального запроса отдает список продуктов resp = { 'task': None, 'state': 'product_list', 'items': [{ 'product': product.to_dict(True), 'parameters': [], 'error': None } for product in products] } else: # создаём задачу на деинсталляцию task = TaskFactory.create_task("uninstall", products) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) # и готовим ответ веб-интерфейсу, что уставнока началась resp = {'task': {'id': task_id}, "state": "uninstalling"} return resp
def upgrade(request): """ Обрабатывает запросы на апгрейд продуктов. Форматы входных запросов и выходных ответов такие же как для install() """ if request.method != 'POST': # принимаем только пост-запросы return HttpResponseNotAllowed(['POST']) # парсим джейсон запрос req = json_request(request) initial = 'initial' in req dm = DependencyManager() requested_products = req['requested_products'] core = Core.get_instance() if initial: # если это начальный запрос, то отдаем дерево зависимостей resp = { 'task': None, 'items': [dm.get_dependencies(product_name) for product_name in requested_products] } else: # это запрос на апгрейд # список имён продуктов, которые нужно апгрейдить (с зависимостями) product_list = [item['product'] for item in req['install_products']] product_list.reverse() # добывает спсисоко продуктов из списка имён products = ProductCollection(product_list) parsed_parameters = ParametersParserJson(req['install_products']).get() # создаём менеджер параметров parameter_manager = ParametersManager(core, products, parsed_parameters) # создаёт задачу на апгрейд task = TaskFactory.create_task("upgrade", products, parameter_manager) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) resp = { 'task': { 'id': task_id, }, 'items': None } return resp
def do_task(task, lock): """ выполнить задание :param task: """ try: from web.taskqueue.tornado_worker import TornadoWorker task.status = task.STATUS_RUNNING task.save() logging.debug('get task #{0}: {1}'.format(task.id, task.title)) task.execute() task.status = task.STATUS_DONE task.save() TornadoWorker.clear_lock(lock) logging.debug('Done task {0}'.format(task.id)) except Exception as e: tb = traceback.format_exc() task.status = task.STATUS_EXCEPTION task.error_message = 'An error occurred during execution of task {0}.\r\nMessage: {1}\r\n{2}'.format( task.id, e, tb) task.save() TornadoWorker.clear_lock(lock) logging.error(task.error_message) sys.exit(1)
def install(request): """ Этот вызов используется для передать в веб-интерфейс дерево зависимостей и принять от него запрос на установку. Примеры запросов и ответов: начальный запрос: command: "start" requested_products: [JavaJettyTemplate] ответ: task: id: 168 url: /task/168/ items: paramters: [...] product: name: ... title: ... and: - item 1... - item 2... """ # TODO do not give ability to install application through this function if request.method != 'POST': # принимаем только пост-запросы resp = HttpResponseNotAllowed(['POST']) return resp # джейсон запрос в питоний словарь req = json_request(request) # это начальный запрос? dm = DependencyManager() core = Core.get_instance() # продукты, которые запрошены на установку (без зависимостей) requested_products = req['requested_products'] if req["command"] == "start": # если это начальный запрос, то отдаем дерево зависимостей resp = { 'task': None, "state": "requirements", 'items': [dm.get_dependencies(product_name) for product_name in requested_products] } else: # это запрос на установку # список имён продуктов, которые нужно установить # ВАЖНЫЙ МОМЕНТ (с зависимостями) product_list = [item['product'] for item in req['install_products']] # переворачиваем его product_list.reverse() # добывает спсисоко продуктов из списка имён products = ProductCollection(product_list, feeds=(core.feed, core.current)) # парсим параметры установки из запроса parsed_parameters = ParametersParserJson(req['install_products']).get() # создаём менеджер параметров parameter_manager = ParametersManager(core, products, parsed_parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) # и готовим ответ веб-интерфейсу, что уставнока началась resp = { 'task': { 'id': task_id, }, } else: # что-то не так с параметрами, возвращаем в веб морду ошибку resp = { 'task': None, 'items': [dm.get_dependencies(product_name) for product_name in req['requested_products']], 'error': [parameter_manager.get_error(product) for product in products] } return resp
def install(request): """ Этот вызов используется для передать в веб-интерфейс дерево зависимостей и принять от него запрос на установку. Примеры запросов и ответов: начальный запрос: command: "start" requested_products: [JavaJettyTemplate] ответ: task: id: 168 url: /task/168/ items: paramters: [...] product: name: ... title: ... and: - item 1... - item 2... """ # TODO do not give ability to install application through this function if request.method != 'POST': # принимаем только пост-запросы resp = HttpResponseNotAllowed(['POST']) return resp # джейсон запрос в питоний словарь req = json_request(request) # это начальный запрос? dm = DependencyManager() core = Core.get_instance() # продукты, которые запрошены на установку (без зависимостей) requested_products = req['requested_products'] if req["command"] == "start": # если это начальный запрос, то отдаем дерево зависимостей resp = { 'task': None, "state": "requirements", 'items': [ dm.get_dependencies(product_name) for product_name in requested_products ] } else: # это запрос на установку # список имён продуктов, которые нужно установить # ВАЖНЫЙ МОМЕНТ (с зависимостями) product_list = [item['product'] for item in req['install_products']] # переворачиваем его product_list.reverse() # добывает спсисоко продуктов из списка имён products = ProductCollection(product_list, feeds=(core.feed, core.current)) # парсим параметры установки из запроса parsed_parameters = ParametersParserJson(req['install_products']).get() # создаём менеджер параметров parameter_manager = ParametersManager(core, products, parsed_parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) # и готовим ответ веб-интерфейсу, что уставнока началась resp = { 'task': { 'id': task_id, }, } else: # что-то не так с параметрами, возвращаем в веб морду ошибку resp = { 'task': None, 'items': [ dm.get_dependencies(product_name) for product_name in req['requested_products'] ], 'error': [parameter_manager.get_error(product) for product in products] } return resp