Ejemplos de proxy en Python

Ejemplo n.º 1

Archivo: app.py Proyecto: onlyfu/crawler

		def checkIp():
			# 随机取一个IP
			strProxyRandom = proxy().getProxy(lisProxy)

			# 检查是否存在于dicUseIP中
			if not self.dicUseIP.has_key(strProxyRandom):
				return strProxyRandom

			# 判断时间是否在规定时间内
			intNow = self.timeNow()
			intUse = self.dicUseIP[strProxyRandom]
			if intNow - intUse > self.dicConfig['USE_IP_INTERVAL']:
				return strProxyRandom

			return checkIp()

Ejemplo n.º 2

Archivo: app.py Proyecto: onlyfu/crawler

import requests
import importlib
import hashlib
import time
import json
import re
import gevent.pool
import logging

from pyquery import PyQuery as pq

from common.proxy import proxy as proxy
from common.redis_class import queue
from conf.config import CONF

lisProxy = proxy().loadProxy('')

class app(object):

	dicConfig = CONF # 配置

	re = re #

	intRequestNum = 1 # 当前请求次数
	intRequestUpNum = 5 # 最多请求次数

	dicUseIP = {}

	def __init__(self):
		'''
		'''