Exemplo n.º 1
0
    def __init__(self, config):
        """
        Initialize
        """

        Spider.__init__(self, config)
        self.config = config
Exemplo n.º 2
0
 def __init__(self):
     Spider.__init__(self)
     self.tracked_videos: Queue = Queue()
     if not self.videoSave.is_alive():
         self.videoSave.start()
     if not self.videoGet.is_alive():
         self.videoGet.start()
Exemplo n.º 3
0
 def __init__(self, **kwargs):
     kwargs['enable_reborn'] = True
     kwargs['enable_proxy'] = False
     kwargs['max_login_tries'] = 8
     #kwargs['ips_obj'] = self.ips_obj
     self.out = open('out.txt', 'w+')
     self.login_status = False
     Spider.__init__(self, **kwargs)
Exemplo n.º 4
0
 def __init__(self, **kwargs):
     kwargs['enable_reborn'] = True
     kwargs['enable_proxy'] = False
     kwargs['max_login_tries'] = 8
     #kwargs['ips_obj'] = self.ips_obj
     self.out = open('out.txt', 'w+')
     self.login_status = False
     Spider.__init__(self, **kwargs)
Exemplo n.º 5
0
 def __init__(self):
     Spider.__init__(self)
     if not self.userGet.is_alive():
         self.userGet.start()
     if not self.userSave.is_alive():
         self.userSave.start()
Exemplo n.º 6
0
 def __init__(self, thdcnt=20):
     Spider.__init__(self, thdcnt)
     self.baseurl = {}
     self.conddata = []
     self.cond = []
     self.oldjobs = []
Exemplo n.º 7
0
 def __init__(self):
     Spider.__init__(self)
     if not self.rankSave.is_alive():
         self.rankSave.start()
Exemplo n.º 8
0
    def __init__(self):
        Spider.__init__(self)
        self.tracked_users: Queue = Queue()

        VideoFollowingSave(self.data_queue).start()
        VideoFollowingGet(self.tracked_users).start()
Exemplo n.º 9
0
 def __init__(self, **kwargs):
     kwargs['enable_reborn'] = True
     kwargs['enable_proxy'] = True
     kwargs['ips_obj'] = self.ips_obj
     Spider.__init__(self, **kwargs)
Exemplo n.º 10
0
 def __init__(self):
     Spider.__init__(self)
     self.site = 'taobao'
Exemplo n.º 11
0
 def __init__(self, **kwargs):
     kwargs['enable_reborn'] = True
     kwargs['enable_proxy'] = True
     kwargs['ips_obj'] = self.ips_obj
     Spider.__init__(self, **kwargs)