背景 一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构, 支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。 在线示例: http://demo.pyspider.org/ 安装 安装 pip install pyspider 命令行运行 pyspider 浏览器查看 http://localhost:5000/ 快速入门: http://docs.pyspider.org/en/latest/Quickstart/ 爬虫规则 数据存储 redis mysql