Ejemplos de RetryMiddleware.from_crawler en Python

Ejemplo n.º 1

Archivo: test_downloadermiddleware_retry.py Proyecto: LMKight/scrapy

 def setUp(self):
     self.crawler = get_crawler(Spider)
     self.spider = self.crawler._create_spider('foo')
     self.mw = RetryMiddleware.from_crawler(self.crawler)
     self.mw.max_retry_times = 2

Ejemplo n.º 2

 def setUp(self):
     self.crawler = get_crawler(Spider)
     self.spider = self.crawler._create_spider('foo')
     self.mw = RetryMiddleware.from_crawler(self.crawler)
     self.mw.max_retry_times = 2

Ejemplo n.º 3

 def setUp(self):
     self.crawler = get_crawler(Spider)
     self.spider = self.crawler._create_spider('foo')
     self.mw = RetryMiddleware.from_crawler(self.crawler)
     self.mw.max_retry_times = 2
     self.invalid_url = 'http://www.scrapytest.org/invalid_url'

Ejemplo n.º 4

Archivo: test_downloadermiddleware_retry.py Proyecto: ArturGaspar/scrapy

 def setUp(self):
     self.crawler = get_crawler(Spider)
     self.spider = self.crawler._create_spider('foo')
     self.mw = RetryMiddleware.from_crawler(self.crawler)
     self.mw.max_retry_times = 2
     self.invalid_url = 'http://www.scrapytest.org/invalid_url'

Ejemplo n.º 5

Archivo: test_downloadermiddleware_retry.py Proyecto: shantikumar/Web-Scraper

 def get_spider_and_middleware(self, settings=None):
     crawler = get_crawler(Spider, settings or {})
     spider = crawler._create_spider('foo')
     middleware = RetryMiddleware.from_crawler(crawler)
     return spider, middleware

Ejemplo n.º 6

Archivo: test_downloadermiddleware_retry.py Proyecto: scrapy/scrapy

 def setUp(self):
     crawler = get_crawler(Spider)
     self.spider = crawler._create_spider("foo")
     self.mw = RetryMiddleware.from_crawler(crawler)
     self.mw.max_retry_times = 2