def parse_nhc_gov(self, response):
'''
中国人民共和国国家卫生健康委员会
解析域名：www.nhc.gov.cn
示例文章：http://www.nhc.gov.cn/xcs/pfzs/202002/6090ed34d8e64d038fbed94b9f957059.shtml
'''
loader = ItemLoader(item=items.NhcGovItem(), response=response)
article_metas = response.xpath(
"//div[@class='list']//div[@class='source']/span/text()").extract(
)
if not article_metas:
cookjar.extract_cookies(response, response.request) # 提取cookies
yield scrapy.Request(response.url,
callback=self.get_parse(response.url),
meta=response.meta,
cookies=cookjar)
else:
loader.add_value("create_time",
article_metas[0],
re='发布时间：([\w\W].*)') # 发布时间： 2020-02-10
loader.add_value("author", article_metas[1],
re='来源：([\w\W]*)') # 来源：
loader.add_xpath("content", "//div[@class='con']")
loader.add_xpath("img", "//div[@class='con']//img/@src")
return loader
def parse_china_cdc(self, response):
'''
中国疾病预防控制中心
解析域名：www.chinacdc.cn
示例文章：http://www.chinacdc.cn/jkzt/crb/zl/szkb_11803/jszl_2275/202002/t20200214_212668.html
'''
loader = ItemLoader(item=items.ChinaCdcItem(), response=response)
loader.add_xpath("create_time",
"//span[@class='info-date']/text()") # 2020-02-14
loader.add_value("author", '中国疾病预防控制中心') # 中国疾病预防控制中心
loader.add_xpath("content", "//div[@class='TRS_Editor']")
loader.add_xpath("img", "//div[@class='TRS_Editor']//img/@src")
return loader
def parse_mem_gov(self, response):
'''
中国人民共和国应急管理部
解析域名：www.mem.gov.cn
示例文章：https://www.mem.gov.cn/kp/shaq/jtaq/202002/t20200207_344223.shtml
'''
loader = ItemLoader(item=items.MemGovItem(), response=response)
article_metas = response.xpath(
"//div[@class='time_laiy']/span/text()").extract()
loader.add_value("create_time", article_metas[0]) # 2020-02-07 11:43
loader.add_value("author", article_metas[1], re='来源：(.*)') # 来源：健康中国
loader.add_xpath("content", "//div[@class='TRS_Editor']")
loader.add_xpath("img", "//div[@class='TRS_Editor']//img/@src")
return loader
def parse_shanxi_gov(self, response):
'''
陕西省人民政府
解析域名：www.shaanxi.gov.cn
示例文章：http://www.shaanxi.gov.cn/sxxw/sxyw/160376.htm
'''
loader = ItemLoader(item=items.ShanxiGovItem(), response=response)
article_metas = response.xpath(
"//div[@class='info-attr']//span/text()").extract()
loader.add_value("create_time",
article_metas[0]) # 2020-02-08 08:06:40
loader.add_value("author", article_metas[1]) # 陕西日报
loader.add_xpath("content", "//div[@class='info-cont']")
loader.add_xpath("img", "//div[@class='info-cont']//img/@src")
return loader
def parse_xa_gov(self, response):
'''
西安市人民政府
解析域名：www.xa.gov.cn
示例文章：http://www.xa.gov.cn/xw/gsgg/5e3d08b6f99d65775059122d.html
'''
loader = ItemLoader(item=items.XaGovItem(), response=response)
article_metas = response.xpath(
"//div[contains(@class, 'm-txt-crm')]/span//text()").extract()
loader.add_value("create_time", article_metas[1],
re='发布时间：(.*)') # '发布时间：2020-02-07 14:44'
loader.add_value("author", article_metas[0], re='来源：(.*)') # '来源：西安发布'
loader.add_xpath("content", "//div[@class='m-txt-article']")
loader.add_xpath("img", "//div[@class='m-txt-article']//img/@src")
return loader
def parse_chinanews(self, response):
'''
中国新闻网
解析域名：www.chinanews.com
示例文章：http://www.chinanews.com/sh/2020/02-09/9084200.shtml
'''
loader = ItemLoader(item=items.ChinaNewsItem(), response=response)
article_metas = response.xpath(
"//div[@class='left-t']//text()").extract()
loader.add_value("create_time", article_metas[0],
re='.*\d{2}:\d{2}') # 2020年02月09日 10:49
loader.add_value("author", article_metas[1]) # 中国新闻网
loader.add_xpath("content", "//div[@class='left_zw']")
loader.add_xpath("img", "//div[@class='left_zw']//img/@src")
return loader
def parse_py_cnhubei(self, response):
'''
荆楚网(湖北日报网)
解析域名：py.cnhubei.com
示例文章：http://py.cnhubei.com/py_zhuanjia/2020/0219/3456.shtml
'''
loader = ItemLoader(item=items.PyCnHubeiItem(), response=response)
article_metas = response.xpath(
"//div[@class='mintitle']/span//text()").extract()
loader.add_value("create_time", article_metas[0],
re='发布时间：(.*)') # 发布时间：2020-02-19 16:54
loader.add_value("author", article_metas[2]) # '中国青年报'
loader.add_xpath("content", "//div[@class='content_box']")
loader.add_xpath("img", "//div[@class='content_box']//img/@src")
return loader
def parse_cpc_people(self, response):
'''
中国共产党新闻网
解析域名：cpc.people.com.cn
示例文章：http://cpc.people.com.cn/n1/2020/0203/c164113-31568437.html
'''
loader = ItemLoader(item=items.CpcPeopleItem(), response=response)
article_metas = response.xpath(
"//div[@class='text_c']/p[@class='sou']//text()").extract()
loader.add_value("create_time", article_metas[0],
re=r'\d{4}.*\d{2}') # '2020年02月25日09:12'
loader.add_value("author", article_metas[1]) # '人民网-中国共产党新闻网'
loader.add_xpath("content", "//div[@class='show_text']")
loader.add_xpath("img", "//div[@class='show_text']//img/@src")
return loader
def parse_univs(self, response):
'''
中国大学生在线
解析域名：univs.cn
示例文章：http://www.univs.cn/zx/a/xy_gxlb/200219/1535583.shtml
'''
loader = ItemLoader(item=items.UnivsItem(), response=response)
loader.add_xpath(
"create_time",
"//div[@class='detail_t clearfix']/span[2]//text()") # 2020-02-19
loader.add_xpath("author",
"//div[@class='detail_t clearfix']/span[1]//text()",
re="来源：(.*)")
loader.add_xpath("content", "//div[@class='detail-content']/div[1]")
loader.add_xpath("img",
"//div[@class='detail-content']/div[1]//img/@src")
return loader
def parse_piyao(self, response):
'''
中国互联网联合辟谣平台
解析域名：www.piyao.org.cn
示例文章：http://www.piyao.org.cn/2020-02/24/c_1210487719.htm
'''
loader = ItemLoader(item=items.PiYaoItem(), response=response)
article_metas = response.xpath(
"//div[@class='con_tit']/p//text()").extract()
loader.add_value("create_time", article_metas[1],
re='时间：(.*)') # 时间： 2020-02-24
loader.add_value("author", article_metas[0],
re='来源：(.*)') # 来源： 央视新闻客户端
loader.add_xpath("content", "//div[@class='con_txt']")
loader.add_xpath("img", "//div[@class='con_txt']//img/@src")
return loader
def parse_jyt_shanxi(self, response):
'''
陕西省教育厅
解析域名：jyt.shaanxi.gov.cn
示例文章：http://jyt.shaanxi.gov.cn/jynews/gdxx/202002/09/96635.html
'''
loader = ItemLoader(item=items.JytShanxiItem(), response=response)
article_metas = response.xpath(
"//h1[@class='title']/../../../tr[5]/td/text()").extract()
loader.add_value("create_time",
article_metas[0],
re='日期：(\d{4}.*\d{2})') # 格式:'日期：2020-02-09 17:22:42'
loader.add_value("author", '陕西省教育厅')
loader.add_xpath("content", "//div[@id='article']")
loader.add_xpath("img", "//div[@id='content']//img/@src")
return loader
def parse_qinfeng_gov(self, response):
'''
秦风
解析域名：www.qinfeng.gov.cn
示例文章：http://www.qinfeng.gov.cn/info/2101/120602.htm
'''
loader = ItemLoader(item=items.QinfengItem(), response=response)
article_metas = response.xpath(
"//div[@class='article_date']/text()").extract_first().split()
loader.add_value("create_time",
article_metas[0] + " " + article_metas[1],
re='时间：(.*)') # 时间：2020-02-14 17:02
loader.add_value("author", article_metas, re='来源：(.*)') # 来源：秦风网
loader.add_xpath("content", "//div[@class='v_news_content']")
loader.add_xpath("img", "//div[@class='v_news_content']//img/@src")
return loader
def parse_moe_gov(self, response):
'''
中国人民共和国教育部
解析域名：www.moe.gov.cn
示例文章：http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/202002/t20200222_423052.html
'''
loader = ItemLoader(item=items.MoeGovItem(), response=response)
article_metas = response.xpath(
"//div[@id='content_date_source']/text()").extract_first()
loader.add_value("create_time", article_metas,
re='\d{4}-\d{2}-\d{2}') # '2020-02-21'
loader.add_value("author", article_metas,
re='来源：(.*)') # '来源：新华网' 需要去空格
loader.add_xpath("content", "//div[@class='TRS_Editor']")
loader.add_xpath("img", "//div[@class='TRS_Editor']//img/@src")
return loader
def parse_chdnews(self, response):
'''
长安大学新闻网
解析域名：news.chd.edu.cn
示例文章：http://news.chd.edu.cn/2020/0203/c300a120344/page.htm
'''
loader = ItemLoader(item=items.ChdNewsItem(), response=response)
article_metas = response.xpath(
"//div[@class='article']//p[@class='arti-metas']//span//text()"
).extract() # 时间和作者
loader.add_value("create_time", article_metas[0],
re='发布时间：(.*)') # 发布时间：2020-02-20
loader.add_value("author", article_metas[1], re='作者：(.*)')
loader.add_xpath("content", "//div[@id='content']")
loader.add_xpath("img", "//div[@id='content']//img/@src")
return loader
def parse_xinhua(self, response):
'''
中国互联网联合辟谣平台
解析域名：www.xinhuanet.com
示例文章：http://www.xinhuanet.com/politics/leaders/2020-02/10/c_1125555826.htm
'''
loader = ItemLoader(item=items.XinhuaItem(), response=response)
article_metas = response.xpath(
"//div[@class='h-info']/span/span//text()").extract()
loader.add_value("create_time",
article_metas[0]) # 2020-02-10 21:03:52
loader.add_value(
"author",
article_metas[1] if len(article_metas) > 1 else '') # \r\n新华网 \r\n
loader.add_xpath("content", "//div[@class='main-aticle']")
loader.add_xpath("img", "//div[@class='main-aticle']//img/@src")
return loader
def parse_cnhubei(self, response):
'''
荆楚网(湖北日报网)
解析域名：news.cnhubei.com
示例文章：http://news.cnhubei.com/content/2020-02/23/content_12772797.html?spm=zm1033-001.0.0.2.oMqH8W
'''
loader = ItemLoader(item=items.CnHubeiItem(), response=response)
article_metas = response.xpath(
"//div[@id='lmy_information01']//text()").extract()
article_metas = "".join([i.strip() for i in article_metas
]) # '发布时间：2020年02月23日17:13来源：中国新闻网'
loader.add_value("create_time", article_metas,
re='发布时间：(.*\d{2})') # 2020年02月23日17:13
loader.add_value("author", article_metas, re='来源：(.*)') # 来源：中国新闻网
loader.add_xpath("content", "//div[@class='article_w']")
loader.add_xpath("img", "//div[@class='article_w']//img/@src")
return loader
def parse_wechat(self, response):
'''
微信公众号
解析域名：mp.weixin.qq.com
示例文章：https://mp.weixin.qq.com/s/QD239VGRmictZPBp7kyehQ
'''
loader = ItemLoader(item=items.WeChatItem(), response=response)
loader.add_xpath(
"author",
"//div[@id='meta_content']/span[1]/text()") # 把左右两边的空白符去掉就行
loader.add_xpath("content", "//div[@class='rich_media_content ']")
loader.add_xpath("img",
"//div[@class='rich_media_content ']//img/@src")
return loader
def parse_gov(self, response):
'''
中国政府网
解析域名：www.gov.cn
示例文章：http://www.gov.cn/zhuanti/yqhy/mobile.htm
'''
loader = ItemLoader(item=items.GovItem(), response=response)
loader.add_value("author", "中国政府网")
if "www.gov.cn/xinwen" in response.url:
content_xpath = "//div[@class='pages_content']"
img_xpath = "//div[@class='pages_content']//img/@src"
else:
content_xpath = "//div[@class='container']"
img_xpath = "//div[@class='container']//img/@src"
loader.add_xpath("content", content_xpath)
loader.add_xpath("img", img_xpath)
return loader