class Uuu9Comments(SiteComments): BBS_URL_REG = '^http://moba\.uuu9\.com/\w+-\d+-(\d+)-\d+.html' PAGE_SIZE = 10 BBS_TITLE = '' STEP_1 = None STEP_2 = 2 STEP_3 = 3 ############################################################################################## # @functions:__init__ # @param: none # @return:none # @author:Hedian # @date:2016/11/30 # @note:Uuu9Comments类的构造器,初始化内部变量 ############################################################################################## def __init__(self): SiteComments.__init__(self) self.bbs = None self.news = None def createobject(self): if self.bbs is None: self.bbs = CommenComments(self) if self.news is None: self.news = NewsComments(self) ############################################################################################## # @functions:process # @param:共通模块传入的参数(对象url, 原始url, 当前step数,自定义参数) # @return:无 # @author:Hedian # @date:2016/11/30 # @note:AppgameComments入口函数,通过Step1设置url,得到评论的总数,并根据评论总数得到获取其他评论的url。 ############################################################################################## def process(self, params): field = self.r.parse('^http://(\w+)\.?', params.url)[0] params.customized['field'] = field Logger.getlogging().debug(field) self.createobject() field = self.r.parse('^http://(\w+)\.uuu9\.com*', params.originalurl)[0] # 论坛 if field == 'moba': self.bbs.process(params) else: self.news.process(params)
class PtbusComments(SiteComments): ################################################################################################################ # @functions:__init__ # @param: none # @return:none # @note:none ################################################################################################################ def __init__(self): # 使用该URL识别回传S2查询结果的类,推荐使用主站URL SiteComments.__init__(self) self.ptbusNews = None self.ptbusBbs = None ################################################################################################################ # @functions:createobject # @params: see WebSite.createobject # @return:none # @note:SiteS2Query, process S2 query result,一般为查询到的URL列表 ################################################################################################################ def createobject(self): if self.ptbusNews is None: self.ptbusNews = PtbusNewsComments(self) if self.ptbusBbs is None: self.ptbusBbs = CommenComments(self) ################################################################################################################ # @functions:process # @params: see WebSite.process # @return:none # @note:none ################################################################################################################ def process(self, params): # 初始化内部子类对象 self.createobject() # 论坛评论取得 if self.r.match('http://bbs\.ptbus\.com/.*', params.originalurl): self.ptbusBbs.process(params) # 新闻评论取得 elif self.r.match('http://.+\.ptbus\.com/.*', params.originalurl): # self.ptbusNews.process(params) # 非bbs页面评论改为畅言模式,调用畅言模块 ChangyanComments(self).process(params)
class GfanComments(SiteComments): STEP_1 = None ############################################################################################## # @functions:__init__ # @param: none # @return:none # @author:Hedian # @date:2016/12/15 # @note:GfanComments类的构造器,初始化内部变量 ############################################################################################## def __init__(self): SiteComments.__init__(self) self.bbs = None self.news = None def createobject(self): if self.bbs is None: self.bbs = CommenComments(self) if self.news is None: self.news = ChangyanComments(self) ############################################################################################## # @functions:process # @params:共通模块传入的参数(对象url, 原始url, 当前step数,自定义参数) # @return: # @author:Hedian # @date:2016/12/15 # @note: ############################################################################################## def process(self, params): Logger.getlogging().info(params.originalurl) self.createobject() field = self.r.parse('^http://(\w+)\.?', params.originalurl)[0] Logger.getlogging().debug(field) if field == 'bbs': # 机锋网论坛 self.bbs.process(params) else: # 机锋网其他处理 self.news.process(params)
class dm78Comments(SiteComments): ################################################################################################################ # @functions:__init__ # @param: none # @return:none # @note:none ################################################################################################################ def __init__(self): # 使用该URL识别回传S2查询结果的类,推荐使用主站URL SiteComments.__init__(self) self.dm78News = None self.dm78Bbs = None ################################################################################################################ # @functions:createobject # @params: see WebSite.createobject # @return:none # @note:none ################################################################################################################ def createobject(self): if self.dm78News is None: self.dm78News = dm78NewsComments(self) if self.dm78Bbs is None: self.dm78Bbs = CommenComments(self) ################################################################################################################ # @functions:process # @params: see WebSite.process # @return:none # @note:none ################################################################################################################ def process(self, params): # 初始化内部子类对象 self.createobject() # 论坛评论取得 if self.r.match('http://bbs\.78dm\.net/forum.php.*', params.originalurl): self.dm78Bbs.process(params) # 新闻评论取得 else: self.dm78News.process(params)
class NarutomComments(SiteComments): ################################################################################################################ # @functions:__init__ # @param: none # @return:none # @note:none ################################################################################################################ def __init__(self): # 使用该URL识别回传S2查询结果的类,推荐使用主站URL SiteComments.__init__(self) self.narutomVideo = None self.narutomBbs = None ################################################################################################################ # @functions:createobject # @params: see WebSite.createobject # @return:none # @note:none ################################################################################################################ def createobject(self): if self.narutomVideo is None: self.narutomVideo = NarutomVideoComments(self) if self.narutomBbs is None: self.narutomBbs = CommenComments(self) ################################################################################################################ # @functions:process # @params: see WebSite.process # @return:none # @note:none ################################################################################################################ def process(self, params): # 初始化内部子类对象 self.createobject() # 论坛评论取得 if self.r.match('http://bbs\.narutom\.com\/*', params.originalurl): self.narutomBbs.process(params) # 视频评论取得 else: self.narutomVideo.process(params)