GitHub - xxguo/crawler

Name		Name	Last commit message	Last commit date
Latest commit History 5 Commits
conf		conf
crawlerimpl		crawlerimpl
db		db
file		file
models		models
processimpl		processimpl
scheduler		scheduler
utils		utils
.gitignore		.gitignore
__init__.py		__init__.py
crawlerservice.py		crawlerservice.py
readme.md		readme.md
requirements.txt		requirements.txt
script.py		script.py
settings.py		settings.py
test.html		test.html
test.py		test.py
test2.py		test2.py
test3.py		test3.py

Repository files navigation

这是一个爬虫程序。

采用多任务处理爬虫，可以很容易的扩展成分布式任务结构

数据存储运用的是cassandra分布式数据库

任务库使用的是mongodb数据库

中间键运用的是redis数据库

爬虫程序部署完成后，不用重启可以自行添加、删除、修改任务，无需重启。

本程序监控了大约2000多个网站。实现了数据及时的监测。

去重使用了两道过滤

提供的有api,直接调用来处理任务

About

No description, website, or topics provided.

Report repository

Releases

No releases published

Packages

No packages published

Languages