Exemplos de RedisUtils.get_pool_by_label em Python

Exemplo n.º 1

Arquivo: dp_preferential.py Projeto: GodWord/dp_crawler

 def __init__(self, redis_db, redis_label='default'):
     self.url = 'https://m.dianping.com/shop/{}'
     self.req = RequestsUtils()
     self.history_cache = CatchUtils(
         RedisUtils.get_pool_by_label(redis_label, redis_db))
     self.exists_key = 'preferential'
     self.exists_time_out = 60 * 60 * 24 * 365

Exemplo n.º 2

Arquivo: proxy.py Projeto: GodWord/dp_crawler

    def __init__(self,
                 api_url,
                 pool_size,
                 time_out,
                 redis_db,
                 sleep,
                 batch,
                 redis_label='default'):
        logger.info('[Proxy]开始初始化......')
        self.__api_url = api_url
        self.__pool_size = pool_size
        self.__time_out = time_out
        self.__batch = batch
        self.__session = requests.Session()
        self.__init_session__()
        self.sleep = sleep

        self.catch = CatchUtils(
            RedisUtils.get_pool_by_label(redis_label, redis_db))

Exemplo n.º 3

Arquivo: dp_comment.py Projeto: GodWord/dp_crawler

 def __init__(self, redis_db, redis_label='default'):
     history_cache = CatchUtils(
         RedisUtils.get_pool_by_label(redis_label, redis_db))

Exemplo n.º 4

 def __init__(self, redis_db, redis_label='default', **kwargs):
     self.proxy_cache = CatchUtils(
         RedisUtils.get_pool_by_label(redis_label, redis_db))