GitHub - lxngoddess5321/crawlerFrame: 自己搭建的网络爬虫框架，通过Redis+Flask搭建代理池，使用线程池编写下载器，MD5的url去重。

Name		Name	Last commit message	Last commit date
Latest commit History 8 Commits
.idea		.idea
proxypool		proxypool
AgentsServer.py		AgentsServer.py
__init__.py		__init__.py
db.py		db.py
readme.md		readme.md
test.db		test.db
url_manager.py		url_manager.py
user_agent.py		user_agent.py

Repository files navigation

获取网络上的代理IP池，自动检测更新。

基于Flask和Redis的代理IP池，通过访问本地端口5000获取IP。

具有一个基于线程池的下载器，避免网络并发大时网络超时。

具有常用网络User-Agent池。

About

自己搭建的网络爬虫框架，通过Redis+Flask搭建代理池，使用线程池编写下载器，MD5的url去重。

Report repository

Releases

No releases published

Packages

No packages published

Languages

Python 100.0%