def __init__(self, url):
spider_path = pf.getProfileValue('spider', 'path')
spider_setting_path = pf.getProfileValue('spider_setting', 'path')
sys.path.append(spider_path) # 将sinbot模块地址导入
sys.path.append(spider_setting_path)# 将sinbot_settings模块的地址导入
self.url = url # 用来保存当前检测的主页面的地址
# self.rootPath = os.path.dirname(os.path.realpath(__file__)) # 用来保存当前检测的位置
self.resultHiddenlink = {} # 用来保存最终的检测结果
self.urlList = [] # 传递进来需要进行检测的URL列表
self.curNum = 0 # 统计当前检测的是第几条
self.detectTM = ThreadManager() # 线程管理
def __getConn():
"""
描述: 静态方法，从连接池中取出连接
@:return MySQLdb.connection
"""
if DbManager.__pool is None:
__pool = PooledDB(creator=MySQLdb,
mincached=pf.getProfileValue('db', 'mincached', 'int'),
maxcached=pf.getProfileValue('db', 'maxcached', 'int'),
cursorclass=DictCursor,
use_unicode=True,
charset=pf.getProfileValue('db', 'charset', 'string'),
**pf.getDbUserInfo())
return __pool.connection()
