def test_get_gzh_by_search(self): file_name = os.path.join(fake_data_path, 'search-gaokao-gzh.html') with io.open(file_name, encoding='utf-8') as f: search_gaokao_gzh = f.read() gzh_list = WechatSogouStructuring.get_gzh_by_search(search_gaokao_gzh) names = [] wechat_ids = [] post_perms = [] introductions = [] authentications = [] open_ids = [] assert_equal(10, len(gzh_list)) for gzh in gzh_list: names.append(gzh['wechat_name']) wechat_ids.append(gzh['wechat_id']) post_perms.append(gzh['post_perm']) introductions.append(gzh['introduction']) authentications.append(gzh['authentication']) open_ids.append(gzh['open_id']) assert_in('mp.weixin.qq.com/profile?src=3×tamp=', gzh['profile_url']) assert_in('mp.weixin.qq.com/rr?src=', gzh['qrcode']) assert_in('img01.sogoucdn.com/', gzh['headimage']) assert_equal([ 'oIWsFt6fv4FH0OBNCyoonNoAp2OM', 'oIWsFtzwnqHRVPsRY-eEzPo344jQ', 'oIWsFt_PvlvuqFxQFPbOO26_GQh4', 'oIWsFtzpOSqygkGiyzj1vVGi2zM4', 'oIWsFt-lCZYAtfVXRykjgsWZMoJA', 'oIWsFtzJBFA82fTPb7xU-gkPiyqA', 'oIWsFt_wgF0dHou131y47qIMcuM0', 'oIWsFt67sO47_fHfOFQC0rBHhxcY', 'oIWsFt5Kltl1uXsy8fhj96eIVen8', 'oIWsFt-2JeqhMEEVQuFw_geRzmbY' ], open_ids) assert_equal([ '山东高考指南', '高考家长圈', '河南高考指南', '高考360', '云天高考', '腾讯高考', '高考快讯', '专业中高考教育', '晟嘉高考', '新东方在线高考辅导' ], names) assert_equal([ u'sdgkzn', u'sinagkjzq', u'hngaokao', u'sctvgaokao360', u'yuntiangaokao', u'qq_gaokao', u'gkkx678', u'gh_591a43050b5f', u'tjsjgk', u'koogaokao' ], wechat_ids) assert_equal([-1, -1, -1, -1, -1, -1, -1, -1, -1, -1], post_perms) assert_equal([ '这里是山东最权威最专业的高考交流平台,由山东商报徐玉芹教育工作室独家运作.本平台与山东商报高考交流群互为依托,为山东考生和家长提供最及时、最准确的高考政策及信息解读,以及一流的填报志愿咨询服务.合作...', '定期推送高三家长关注的优秀家长经验交流、志愿填报技巧、考生心理辅导方法、考前营养搭配等诸多优质内容;为家长搭建交流互动平台.', '发布最新高考政策,分享高效学习方法,制定高考应试策略.考点总结政策分析名校介绍高考大纲试卷解析艺考文化课,权威专业的高考资讯一手掌握.', '360天,360度,用心伴您升学路.四川电视台科教频道每晚7:45播出.', '高端教育品牌,高分考生的加油站,重点中学的合作伙伴.开阔考生视野、提升认知,在以“研究”为主线的基础上,将考生培养成一个全面型的人才.课程特色,全科协调、单科精讲.云天高考一直深受高分考生和家长的追...', '腾讯高考频道是中国最具互动性高考门户网站.主要为中国高考生及家长提供有价值的资讯和辅导.内容包括:新闻、评论、视频、各科辅导、志愿填报、家长指南等多方面.', '高考快讯平台专为考生家长提供最新高考资讯、志愿填报指南、名校排行榜、状元经验、学习方法、高分秘籍等等,我们的努力将伴随着您圆大学梦,欢迎关注阅读!', '旨在做最专业的中高考教育交流平台,第一时间传递权威的中高考资讯,为孩子的未来保驾护航!', '关于天津高考,你关注我们一个就够啦!', '提供高考资讯、高考院校库、在线答疑、政策解读及试题发布.' ], introductions) assert_equal([ '《山东商报》社', '新浪网技术(中国)有限公司', '郑州新东方培训学校', '四川省电化教育馆(四川教育电视台)', '北京云天共业教育科技有限公司', '深圳市腾讯计算机系统有限公司', '广州卓越教育培训中心', '大连沙河口科苑文化培训学校', '天津市南开区晟嘉培训中心', '北京新东方迅程网络科技股份有限公司' ], authentications)
def search_gzh(self, keyword, page=1, unlock_callback=None, identify_image_callback=None, decode_url=True): """搜索 公众号 对于出现验证码的情况,可以由使用者自己提供: 1、函数 unlock_callback ,这个函数 handle 出现验证码到解决的整个流程 2、也可以 只提供函数 identify_image_callback,这个函数输入验证码二进制数据,输出验证码文字,剩下的由 wechatsogou 包来解决 注意: 函数 unlock_callback 和 identify_image_callback 只需要提供一个,如果都提供了,那么 identify_image_callback 不起作用 Parameters ---------- keyword : str or unicode 搜索文字 page : int, optional 页数 the default is 1 unlock_callback : callable 处理出现验证码页面的函数,参见 unlock_callback_example identify_image_callback : callable 处理验证码函数,输入验证码二进制数据,输出文字,参见 identify_image_callback_example decode_url : bool 是否解析 url Returns ------- list[dict] { 'open_id': '', # 微信号唯一ID 'profile_url': '', # 最近10条群发页链接 'headimage': '', # 头像 'wechat_name': '', # 名称 'wechat_id': '', # 微信id 'post_perm': '', # 最近一月群发数 'qrcode': '', # 二维码 'introduction': '', # 介绍 'authentication': '' # 认证 } Raises ------ WechatSogouRequestsException requests error """ url = WechatSogouRequest.gen_search_gzh_url(keyword, page) session = requests.session() resp = self.__get_by_unlock(url, unlock_platform=self.__unlock_sogou, unlock_callback=unlock_callback, identify_image_callback=identify_image_callback, session=session) gzh_list = WechatSogouStructuring.get_gzh_by_search(resp.text) for i in gzh_list: if decode_url: i['profile_url'] = self.__format_url(i['profile_url'], url, resp.text, unlock_callback=unlock_callback, identify_image_callback=identify_image_callback, session=session) yield i
def search_gzh(self, keyword, page=1, unlock_callback=None, identify_image_callback=None, decode_url=True): """搜索 公众号 对于出现验证码的情况,可以由使用者自己提供: 1、函数 unlock_callback ,这个函数 handle 出现验证码到解决的整个流程 2、也可以 只提供函数 identify_image_callback,这个函数输入验证码二进制数据,输出验证码文字,剩下的由 wechatsogou 包来解决 注意: 函数 unlock_callback 和 identify_image_callback 只需要提供一个,如果都提供了,那么 identify_image_callback 不起作用 Parameters ---------- keyword : str or unicode 搜索文字 page : int, optional 页数 the default is 1 unlock_callback : callable 处理出现验证码页面的函数,参见 unlock_callback_example identify_image_callback : callable 处理验证码函数,输入验证码二进制数据,输出文字,参见 identify_image_callback_example decode_url : bool 是否解析 url Returns ------- list[dict] { 'open_id': '', # 微信号唯一ID 'profile_url': '', # 最近10条群发页链接 'headimage': '', # 头像 'wechat_name': '', # 名称 'wechat_id': '', # 微信id 'post_perm': '', # 最近一月群发数 'qrcode': '', # 二维码 'introduction': '', # 介绍 'authentication': '' # 认证 } Raises ------ WechatSogouRequestsException requests error """ url = WechatSogouRequest.gen_search_gzh_url(keyword, page) session = requests.session() resp = self.__get_by_unlock(url, unlock_platform=self.__unlock_sogou, unlock_callback=unlock_callback, identify_image_callback=identify_image_callback, session=session) gzh_list = WechatSogouStructuring.get_gzh_by_search(resp.text) for i in gzh_list: if decode_url: i['profile_url'] = self.__format_url(i['profile_url'], url, resp.text, unlock_callback=unlock_callback, identify_image_callback=identify_image_callback, session=session) yield i
def test_get_gzh_by_search(self): file_name = os.path.join(fake_data_path, 'search-gaokao-gzh.html') with io.open(file_name, encoding='utf-8') as f: search_gaokao_gzh = f.read() gzh_list = WechatSogouStructuring.get_gzh_by_search(search_gaokao_gzh) names = [] wechat_ids = [] post_perms = [] introductions = [] authentications = [] open_ids = [] assert_equal(10, len(gzh_list)) for gzh in gzh_list: names.append(gzh['wechat_name']) wechat_ids.append(gzh['wechat_id']) post_perms.append(gzh['post_perm']) introductions.append(gzh['introduction']) authentications.append(gzh['authentication']) open_ids.append(gzh['open_id']) assert_in('mp.weixin.qq.com/profile?src=3×tamp=', gzh['profile_url']) assert_in('mp.weixin.qq.com/rr?src=', gzh['qrcode']) assert_in('img01.sogoucdn.com/', gzh['headimage']) assert_equal(['oIWsFt6fv4FH0OBNCyoonNoAp2OM', 'oIWsFtzwnqHRVPsRY-eEzPo344jQ', 'oIWsFt_PvlvuqFxQFPbOO26_GQh4', 'oIWsFtzpOSqygkGiyzj1vVGi2zM4', 'oIWsFt-lCZYAtfVXRykjgsWZMoJA', 'oIWsFtzJBFA82fTPb7xU-gkPiyqA', 'oIWsFt_wgF0dHou131y47qIMcuM0', 'oIWsFt67sO47_fHfOFQC0rBHhxcY', 'oIWsFt5Kltl1uXsy8fhj96eIVen8', 'oIWsFt-2JeqhMEEVQuFw_geRzmbY'], open_ids) assert_equal(['山东高考指南', '高考家长圈', '河南高考指南', '高考360', '云天高考', '腾讯高考', '高考快讯', '专业中高考教育', '晟嘉高考', '新东方在线高考辅导'], names) assert_equal([u'sdgkzn', u'sinagkjzq', u'hngaokao', u'sctvgaokao360', u'yuntiangaokao', u'qq_gaokao', u'gkkx678', u'gh_591a43050b5f', u'tjsjgk', u'koogaokao'], wechat_ids) assert_equal([-1, -1, -1, -1, -1, -1, -1, -1, -1, -1], post_perms) assert_equal( ['这里是山东最权威最专业的高考交流平台,由山东商报徐玉芹教育工作室独家运作.本平台与山东商报高考交流群互为依托,为山东考生和家长提供最及时、最准确的高考政策及信息解读,以及一流的填报志愿咨询服务.合作...', '定期推送高三家长关注的优秀家长经验交流、志愿填报技巧、考生心理辅导方法、考前营养搭配等诸多优质内容;为家长搭建交流互动平台.', '发布最新高考政策,分享高效学习方法,制定高考应试策略.考点总结政策分析名校介绍高考大纲试卷解析艺考文化课,权威专业的高考资讯一手掌握.', '360天,360度,用心伴您升学路.四川电视台科教频道每晚7:45播出.', '高端教育品牌,高分考生的加油站,重点中学的合作伙伴.开阔考生视野、提升认知,在以“研究”为主线的基础上,将考生培养成一个全面型的人才.课程特色,全科协调、单科精讲.云天高考一直深受高分考生和家长的追...', '腾讯高考频道是中国最具互动性高考门户网站.主要为中国高考生及家长提供有价值的资讯和辅导.内容包括:新闻、评论、视频、各科辅导、志愿填报、家长指南等多方面.', '高考快讯平台专为考生家长提供最新高考资讯、志愿填报指南、名校排行榜、状元经验、学习方法、高分秘籍等等,我们的努力将伴随着您圆大学梦,欢迎关注阅读!', '旨在做最专业的中高考教育交流平台,第一时间传递权威的中高考资讯,为孩子的未来保驾护航!', '关于天津高考,你关注我们一个就够啦!', '提供高考资讯、高考院校库、在线答疑、政策解读及试题发布.'], introductions) assert_equal(['《山东商报》社', '新浪网技术(中国)有限公司', '郑州新东方培训学校', '四川省电化教育馆(四川教育电视台)', '北京云天共业教育科技有限公司', '深圳市腾讯计算机系统有限公司', '广州卓越教育培训中心', '大连沙河口科苑文化培训学校', '天津市南开区晟嘉培训中心', '北京新东方迅程网络科技股份有限公司'], authentications)
def search_gzh(self, keyword, page=1, deblocking_callback=None, identify_image_callback=None): """搜索 公众号 对于出现验证码的情况,可以由使用者自己提供: 1、函数 deblocking_callback ,这个函数 handle 出现验证码到解决的整个流程 2、也可以 只提供函数 identify_image_callback,这个函数输入验证码二进制数据,输出验证码文字,剩下的由 wechatsogou 包来解决 注意: 函数 deblocking_callback 和 identify_image_callback 只需要提供一个,如果都提供了,那么 identify_image_callback 不起作用 Parameters ---------- keyword : str or unicode 搜索文字 page : int, optional 页数 the default is 1 deblocking_callback : callable 处理出现验证码页面的函数,参见 deblocking_callback_example identify_image_callback : callable 处理验证码函数,输入验证码二进制数据,输出文字,参见 identify_image_callback_example Returns ------- list[dict] { 'url': '', 'img': '', 'name': '', 'wechat_id': '', 'post_perm': '', 'qrcode': '', 'introduction': '', 'authentication': '' } Raises ------ WechatSogouRequestsException requests error """ req = requests.session() url = WechatSogouRequest.gen_search_gzh_url(keyword, page) resp = WechatSogouRequest.get(url, req=req, headers=self.__set_cookie()) if not resp.ok: raise WechatSogouRequestsException('WechatSogouAPI search_gzh', resp) if 'antispider' in resp.url: self.__deblocking_search(url, resp, req, deblocking_callback, identify_image_callback) resp = WechatSogouRequest.get( url, req=req, headers=self.__set_cookie()) # req=req return WechatSogouStructuring.get_gzh_by_search(resp.text)