在爬取一些大网站的时候,总会出现被反爬技术阻碍的情况,限制IP就是其中一种,那么使用代理就是很好的解决方案.
- 爬虫经常会用到代理IP， 高效使用这些IP是一个比较麻烦的事情。
- 代理池是爬虫、采集、爆破、刷单等必不可少的配备。
- 需要监控ip是否过期，如果已经过期就从池中删除
- 监控访问目标网址的成功率，将成功率低的自动剔除
- 让ip池长期保持设定的ip数量，以便随时取用
- 程序需要在服务端24小时运行
- 实时监控，默认2秒频率 apscheduler模块
- redis的有序集合积分板功能作为ip储存，所以程序最好是放于redis同服务器或者同内网上保障实时读写效率
- 提取IP的时候，有效存活时间过短的自动放弃(不入库)自动筛选(自行完成)
- 监控内容：
- 扫描每个IP过期时间，到期删除(自行完成)
- 总个数小于预设值就申请新的IP且值初始ip质量分=1
- ‘ip质量分’ + ‘到期时间戳’ 例如： 101556616966 后面10位是时间戳，前面是分数10(自行完成)。 注意： 分数加减只是对前面2位进行加减，后面10位是时间戳用来比对时间