Skip to content

shikanon/scrapy_template

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Genspider

#一个scrapy项目模板生成工具


author: shikanon shikanon@foxmail.com

一个scrapy项目生成工具,适合新手使用,可以生成一个scrapy基本模板,减少配置烦恼。 搭载了随机User-Agent,代理ip,redis等, 写入文件采用jsonline格式。

使用方法: python genspider.py the new projects path:在此输入生成的项目目录路径 the projects name:在此输入项目名称 转到项目目录下,执行 scrapy list 可以看到已生成的项目 运行scrapy crawl 项目名称 开始抓取任务。

example中包括一些爬虫生成的:

  1. 一个百度百科的爬虫。
  2. 一个CNKI中国知网期刊和文章的爬虫。
  3. 一个新浪微博的爬虫。

About

一个用来生成scrapy的项目的脚本

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published