Ejemplos de Spider.Spider en Python

Ejemplo n.º 1

Archivo: test_downloader_handlers.py Proyecto: awdorsett/QA_BrownBag

 def test_non_existent(self):
     request = Request('file://%s' % self.mktemp())
     d = self.download_request(request, Spider('foo'))
     return self.assertFailure(d, IOError)

Ejemplo n.º 2

Archivo: test_downloader_handlers.py Proyecto: awdorsett/QA_BrownBag

 def setUp(self):
     self.download_handler = DataURIDownloadHandler(Settings())
     self.download_request = self.download_handler.download_request
     self.spider = Spider('foo')

Ejemplo n.º 3

 def setUp(self):
     self.spider = Spider('foo')
     self.mw = CookiesMiddleware()

Ejemplo n.º 4

Archivo: test_spidermiddleware_httperror.py Proyecto: Big-universe-group/scrapy

 def setUp(self):
     self.spider = Spider('foo')
     self.mw = HttpErrorMiddleware(Settings({'HTTPERROR_ALLOW_ALL': True}))
     self.req = Request('http://scrapytest.org')
     self.res200, self.res404, self.res402 = _responses(
         self.req, [200, 404, 402])

Ejemplo n.º 5

Archivo: test_downloadermiddleware_httpcompression.py Proyecto: jungan21/Scrapy_Web_Crawling_Framework

 def setUp(self):
     self.spider = Spider('foo')
     self.mw = HttpCompressionMiddleware()

Ejemplo n.º 6

Archivo: test_logformatter.py Proyecto: ylcolala/scrapy

 def setUp(self):
     self.formatter = LogFormatter()
     self.spider = Spider('default')