def init_web(oid): """ set web values in mongodb """ target = db.web.find_one({"_id": ObjectId(oid)}) monitor = WebMonitor(target['url']) db.web.update({'_id': ObjectId(oid)}, { '$set': dict( title=monitor.get_title(), encoding=monitor.get_encoding(), content_type=monitor.content_type(), ) })
def create_web_status(oid): try: target = db.web.find_one({"_id": ObjectId(oid)}) try: monitor = WebMonitor(target['url']) except TypeError: set_web(oid, { 'status_now': 2, }) db.web.update({'_id': ObjectId(oid)}, { '$set': dict( title=monitor.get_title(), encoding=monitor.get_encoding(), content_type=monitor.content_type(), ) }) dic = { 'web_ID': oid, 'title': monitor.get_title(), 'encoding': monitor.get_encoding(), 'total_time': monitor.total_time(), 'content_type': monitor.content_type(), 'name_look_up': monitor.name_look_up(), 'connect_time': monitor.connect_time(), 'status_code': monitor.get_status_code(), 'per_transfer_time': monitor.per_transfer_time(), 'content_encoding': monitor.get_content_encoding(), 'start_transfer_time': monitor.start_transfer_time(), 'keywords': monitor.contain_keyword(target['keywords']), 'datetime': datetime.datetime.now(), } set_web(oid, { 'status_now': 0, }) set_web_status(dic) except SocketError: set_web(oid, { 'status_now': 1, })