Ejemplos de CrawlSpider.set_crawler en Python

Ejemplo n.º 1

 def set_crawler(self, crawler):
     CrawlSpider.set_crawler(self, crawler)
     RedisMixin.setup_redis(self)

Ejemplo n.º 2

    def set_crawler(self, crawler):

        CrawlSpider.set_crawler(self, crawler)
        self.config_spider()
        crawler.signals.connect(self.print_msg, signal=signals.spider_opened)

Ejemplo n.º 3

Archivo: ecolect_spiders.py Proyecto: stipid/ecolect

 def set_crawler(self, crawler):
     CrawlSpider.set_crawler(self, crawler)
     RedisMixin.setup_redis(self)
     self.renderjs = crawler.settings.get("RENDERJS", False)

Ejemplo n.º 4

Archivo: MonitorSpider.py Proyecto: break123/monitor

	def set_crawler(self, crawler):

		CrawlSpider.set_crawler(self, crawler)
		RedisMixin.setup_redis(self)

Ejemplo n.º 5

Archivo: groud_crawler.py Proyecto: jannson/scrapy-board

 def set_crawler(self, crawler):
     CrawlSpider.set_crawler(self, crawler)
     self.setup_redis()

Ejemplo n.º 6

Archivo: mycrawler_redis.py Proyecto: zzzz123321/sr-chn

 def set_crawler(self, crawler):
     CrawlSpider.set_crawler(self, crawler)
     #安装redis连接和设置idle signal。
     #并且这个函数必须在spider设置特的crawler object（上面的函数）之后调用。
     RedisMixin.setup_redis(self)

Ejemplo n.º 7

Archivo: ecolect_spiders.py Proyecto: chrox/ecolect

 def set_crawler(self, crawler):
     CrawlSpider.set_crawler(self, crawler)
     RedisMixin.setup_redis(self)
     self.renderjs = crawler.settings.get("RENDERJS", False)