def get_dependencies(self, product_name): """ найти зависомости для продукта :param product_name: :return: :raise Exception: """ if not isinstance(product_name, str): raise Exception("Expected string. got '{0}'".format(product_name)) product = Core.get_instance().feed.get_product(product_name) result = dict() if product is None: result["product"] = "None" return result result["product"] = product.to_dict(True) parameter_manager = ParametersManager([product]) result['parameters'] = [product_parameter.to_dict() for product_parameter in parameter_manager.get_for_product(product)] if product.is_installed(): result['can_upgrade'] = bool(product.upgrade_command) result['last_version'] = product.version == product.get_installed_version() else: result['can_upgrade'] = True result['last_version'] = False dependencies = product.get_dependencies() if dependencies is None or len(dependencies) == 0: return result result["and"] = self._get_dependencies_for_node(dependencies) return result
def do(self): """ Install products by tornado worker """ parameters = None dm = DependencyManager() product_flat_list = [ dm.get_dependencies(product_name) for product_name in self.product_names ] product_list = InstallCommand.flat_deps4products( product_flat_list, False) if self.args_parameters.yml_params: parameters = ParametersParserYmlFile( self.args_parameters.yml_params).get() elif self.args_parameters.json_params: parameters = ParametersParserJsonFile( self.args_parameters.json_params).get() elif self.args_parameters.parameters: parameters = ParametersParserStr( self.args_parameters.parameters).get() else: # then fill with empty params parameters = EmptyParameters().get(product_list) # добывает список продуктов из списка имён products = ProductCollection(product_list, feeds=(self.core.feed, self.core.current), ready_json=True) # парсим параметры установки из запроса # создаём менеджер параметров parameter_manager = ParametersManager(self.core, products, parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # TODO move TornadoWorker to core # create tornado worker web.taskqueue.tornado_worker.TornadoWorker.create_instance() # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) callback_exit = lambda job, exit_code: InstallCommand.console_exit( self, job, exit_code) TornadoWorker.start_new_task(task, callback_exit, False) core.core.core_event_loop_start() else: raise InstallCommandError("Not all parameters specified")
def create_install_task(products: ProductCollection, parameter_manager: ParametersManager): """ фабричный метод: создать такс с переданными параметрами, с типом COMMAND_INSTALL сохранить в базе данных зхапустить воркер :param products: продукты для установки (продукты которые выбрал пользователь + зависимости) :param parameter_manager: :return: номер таска """ settings = json_encode(Core.get_instance().settings.get_state()) job_array = [] task_object = TaskDataModel(command="install", settings=settings) for product in products: title = product.title state = { 'products': [product.to_dict()], 'parameters': parameter_manager.get_state() } state2save = json_encode(state) job = JobDataModel(command=JobDataModel.COMMAND_INSTALL, title=title, params=state2save, task=task_object, settings=settings) job_array.append(job) task = Task(task_model=task_object, jobs=job_array) return task
def create_upgrade_task(products: ProductCollection, parameter_manager: ParametersManager): """ фабричный метод: создать такс с переданными параметрами, с типом COMMAND_UPGRADE сохранить в базе данных зхапустить воркер :param products: :param parameter_manager: :return: """ settings = json_encode(Core.get_instance().settings.get_state()) job_array = [] task_object = TaskDataModel(command="upgrade", settings=settings) for product in products: title = product.title state = { 'products': [product.to_dict()], 'parameters': parameter_manager.get_state() } state2save = json_encode(state) job = JobDataModel(command=JobDataModel.COMMAND_UPGRADE, title=title, params=state2save, task=task_object, settings=settings) job_array.append(job) task = Task(task_model=task_object, jobs=job_array) return task
def create_install_task(products: ProductCollection, parameter_manager: ParametersManager): """ фабричный метод: создать такс с переданными параметрами, с типом COMMAND_INSTALL сохранить в базе данных зхапустить воркер :param products: продукты для установки (продукты которые выбрал пользователь + зависимости) :param parameter_manager: :return: номер таска """ settings = json_encode(Core.get_instance().settings.get_state()) job_array = [] task_object = TaskDataModel(command="install", settings=settings) for product in products: title = product.title state = { 'products': [product.to_dict()], 'parameters': parameter_manager.get_state() } state2save = json_encode(state) job = JobDataModel( command=JobDataModel.COMMAND_INSTALL, title=title, params=state2save, task=task_object, settings=settings ) job_array.append(job) task = Task(task_model=task_object, jobs=job_array) return task
def create_upgrade_task(products: ProductCollection, parameter_manager: ParametersManager): """ фабричный метод: создать такс с переданными параметрами, с типом COMMAND_UPGRADE сохранить в базе данных зхапустить воркер :param products: :param parameter_manager: :return: """ settings = json_encode(Core.get_instance().settings.get_state()) job_array = [] task_object = TaskDataModel(command="upgrade", settings=settings) for product in products: title = product.title state = { 'products': [product.to_dict()], 'parameters': parameter_manager.get_state() } state2save = json_encode(state) job = JobDataModel( command=JobDataModel.COMMAND_UPGRADE, title=title, params=state2save, task=task_object, settings=settings ) job_array.append(job) task = Task(task_model=task_object, jobs=job_array) return task
def do(self): """ Install products by tornado worker """ parameters = None dm = DependencyManager() product_flat_list = [dm.get_dependencies(product_name) for product_name in self.product_names] product_list = InstallCommand.flat_deps4products(product_flat_list, False) if self.args_parameters.yml_params: parameters = ParametersParserYmlFile(self.args_parameters.yml_params).get() elif self.args_parameters.json_params: parameters = ParametersParserJsonFile(self.args_parameters.json_params).get() elif self.args_parameters.parameters: parameters = ParametersParserStr(self.args_parameters.parameters).get() else: # then fill with empty params parameters = EmptyParameters().get(product_list) # добывает список продуктов из списка имён products = ProductCollection(product_list, feeds=(self.core.feed, self.core.current), ready_json=True) # парсим параметры установки из запроса # создаём менеджер параметров parameter_manager = ParametersManager(self.core, products, parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # TODO move TornadoWorker to core # create tornado worker web.taskqueue.tornado_worker.TornadoWorker.create_instance() # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) callback_exit = lambda job, exit_code: InstallCommand.console_exit(self, job, exit_code) TornadoWorker.start_new_task(task, callback_exit, False) core.core.core_event_loop_start() else: raise InstallCommandError("Not all parameters specified")
def create_install_task(self, requested_products: list, products: ProductCollection, parameter_manager: ParametersManager): """ фабричный метод: создать такс с переданными параметрами, с типом COMMAND_INSTALL сохранить в базе данных зхапустить воркер :param requested_products: те продукты которые выбрал пользователь :param products: продукты для установки (продукты которые выбрал пользователь + зависимости) :param parameter_manager: :return: номер таска """ title = 'Installing products: {0}'.format(', '.join([product_name for product_name in requested_products])) state = { 'requested_products': requested_products, 'products': products.to_json_list(), 'parameters': parameter_manager.get_state() } settings = Core.get_instance().settings.get_state() for product in products.to_json_list(): state = { 'requested_products': requested_products, 'products': product, 'parameters': parameter_manager.get_state() } state2save = json.dumps(state, sort_keys=True, indent=1) task = Task( command=Task.COMMAND_INSTALL, title=title, params=state2save, settings=json.dumps(settings, sort_keys=True, indent=1) ) task.save() # production # For debug worker uncomment this # self.task.execute() return task.id
def upgrade(request): """ Обрабатывает запросы на апгрейд продуктов. Форматы входных запросов и выходных ответов такие же как для install() """ if request.method != 'POST': # принимаем только пост-запросы return HttpResponseNotAllowed(['POST']) # парсим джейсон запрос req = json_request(request) initial = 'initial' in req dm = DependencyManager() requested_products = req['requested_products'] core = Core.get_instance() if initial: # если это начальный запрос, то отдаем дерево зависимостей resp = { 'task': None, 'items': [ dm.get_dependencies(product_name) for product_name in requested_products ] } else: # это запрос на апгрейд # список имён продуктов, которые нужно апгрейдить (с зависимостями) product_list = [item['product'] for item in req['install_products']] product_list.reverse() # добывает спсисоко продуктов из списка имён products = ProductCollection(product_list) parsed_parameters = ParametersParserJson(req['install_products']).get() # создаём менеджер параметров parameter_manager = ParametersManager(core, products, parsed_parameters) # создаёт задачу на апгрейд task = TaskFactory.create_task("upgrade", products, parameter_manager) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) resp = { 'task': { 'id': task_id, }, 'items': None } return resp
def get_dependencies(self, product_name): """ найти зависомости для продукта :param product_name: :return: :raise Exception: """ if not isinstance(product_name, str): raise Exception("Expected string. got '{0}'".format(product_name)) product = Core.get_instance().feed.get_product(product_name) result = dict() if product is None: raise DependencyException( "We cant't find the product '{0}'".format(product_name), product_name) result["product"] = product.to_dict(True) parameter_manager = ParametersManager(self.core, [product]) result['parameters'] = [ product_parameter.to_dict() for product_parameter in parameter_manager.get_for_product(product) ] if product.is_installed(): result['can_upgrade'] = bool(product.upgrade_command) result[ 'last_version'] = product.version == product.get_installed_version( ) else: result['can_upgrade'] = True result['last_version'] = False dependencies = product.get_dependencies() if isinstance(product, Application): # if application we generate dependency from spec params engines = [] databases = [] dependencies = [] for i in product.engines: engines.append(i['engine']) if product.database_type is not None: for i in product.database_type: databases.append(i) databases_deps = databases[0] if len(databases) > 1: databases_deps = OrderedDict() databases_deps["or"] = databases dependencies.append(databases_deps) engines_deps = engines[0] if len(engines) > 1: engines_deps = OrderedDict() engines_deps["or"] = engines dependencies.append(engines_deps) if dependencies is None or len(dependencies) == 0: return result result["and"] = self._get_dependencies_for_node(dependencies) return result
def install(request): """ Этот вызов используется для передать в веб-интерфейс дерево зависимостей и принять от него запрос на установку. Примеры запросов и ответов: начальный запрос: command: "start" requested_products: [JavaJettyTemplate] ответ: task: id: 168 url: /task/168/ items: paramters: [...] product: name: ... title: ... and: - item 1... - item 2... """ # TODO do not give ability to install application through this function if request.method != 'POST': # принимаем только пост-запросы resp = HttpResponseNotAllowed(['POST']) return resp # джейсон запрос в питоний словарь req = json_request(request) # это начальный запрос? dm = DependencyManager() core = Core.get_instance() # продукты, которые запрошены на установку (без зависимостей) requested_products = req['requested_products'] if req["command"] == "start": # если это начальный запрос, то отдаем дерево зависимостей resp = { 'task': None, "state": "requirements", 'items': [dm.get_dependencies(product_name) for product_name in requested_products] } else: # это запрос на установку # список имён продуктов, которые нужно установить # ВАЖНЫЙ МОМЕНТ (с зависимостями) product_list = [item['product'] for item in req['install_products']] # переворачиваем его product_list.reverse() # добывает спсисоко продуктов из списка имён products = ProductCollection(product_list, feeds=(core.feed, core.current)) # парсим параметры установки из запроса parsed_parameters = ParametersParserJson(req['install_products']).get() # создаём менеджер параметров parameter_manager = ParametersManager(core, products, parsed_parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) # и готовим ответ веб-интерфейсу, что уставнока началась resp = { 'task': { 'id': task_id, }, } else: # что-то не так с параметрами, возвращаем в веб морду ошибку resp = { 'task': None, 'items': [dm.get_dependencies(product_name) for product_name in req['requested_products']], 'error': [parameter_manager.get_error(product) for product in products] } return resp
def install(request): """ Этот вызов используется для передать в веб-интерфейс дерево зависимостей и принять от него запрос на установку. Примеры запросов и ответов: начальный запрос: command: "start" requested_products: [JavaJettyTemplate] ответ: task: id: 168 url: /task/168/ items: paramters: [...] product: name: ... title: ... and: - item 1... - item 2... """ # TODO do not give ability to install application through this function if request.method != 'POST': # принимаем только пост-запросы resp = HttpResponseNotAllowed(['POST']) return resp # джейсон запрос в питоний словарь req = json_request(request) # это начальный запрос? dm = DependencyManager() core = Core.get_instance() # продукты, которые запрошены на установку (без зависимостей) requested_products = req['requested_products'] if req["command"] == "start": # если это начальный запрос, то отдаем дерево зависимостей resp = { 'task': None, "state": "requirements", 'items': [ dm.get_dependencies(product_name) for product_name in requested_products ] } else: # это запрос на установку # список имён продуктов, которые нужно установить # ВАЖНЫЙ МОМЕНТ (с зависимостями) product_list = [item['product'] for item in req['install_products']] # переворачиваем его product_list.reverse() # добывает спсисоко продуктов из списка имён products = ProductCollection(product_list, feeds=(core.feed, core.current)) # парсим параметры установки из запроса parsed_parameters = ParametersParserJson(req['install_products']).get() # создаём менеджер параметров parameter_manager = ParametersManager(core, products, parsed_parameters) # все ли параметры заполнены? if parameter_manager.are_all_parameters_filled(): # всё ок, создаём задание на установку task = TaskFactory.create_task("install", products, parameter_manager) task_id = TaskManager.queue_task(task) TornadoWorker.start_new_task(task) # и готовим ответ веб-интерфейсу, что уставнока началась resp = { 'task': { 'id': task_id, }, } else: # что-то не так с параметрами, возвращаем в веб морду ошибку resp = { 'task': None, 'items': [ dm.get_dependencies(product_name) for product_name in req['requested_products'] ], 'error': [parameter_manager.get_error(product) for product in products] } return resp