def __init__(self, url): spider_path = pf.getProfileValue('spider', 'path') spider_setting_path = pf.getProfileValue('spider_setting', 'path') sys.path.append(spider_path) # 将sinbot模块地址导入 sys.path.append(spider_setting_path)# 将sinbot_settings模块的地址导入 self.url = url # 用来保存当前检测的主页面的地址 # self.rootPath = os.path.dirname(os.path.realpath(__file__)) # 用来保存当前检测的位置 self.resultHiddenlink = {} # 用来保存最终的检测结果 self.urlList = [] # 传递进来需要进行检测的URL列表 self.curNum = 0 # 统计当前检测的是第几条 self.detectTM = ThreadManager() # 线程管理
def __getConn(): """ 描述: 静态方法,从连接池中取出连接 @:return MySQLdb.connection """ if DbManager.__pool is None: __pool = PooledDB(creator=MySQLdb, mincached=pf.getProfileValue('db', 'mincached', 'int'), maxcached=pf.getProfileValue('db', 'maxcached', 'int'), cursorclass=DictCursor, use_unicode=True, charset=pf.getProfileValue('db', 'charset', 'string'), **pf.getDbUserInfo()) return __pool.connection()