Python SPIDER_REGISTRY.clear 예제들

예제 #1

파일: script_crawl.py 프로젝트: abael/grab

 def test_crawl(self):
     TestSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('test_spider', settings_module='test.files.crawl_settings',
                disable_report=True)
     self.assertEquals(TestSpider.points, [b'1'])

예제 #2

 def test_crawl(self):
     TestSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('test_spider',
                settings_module='test.files.crawl_settings',
                disable_report=True)
     self.assertEquals(TestSpider.points, [b'1'])

예제 #3

파일: util_module.py 프로젝트: wyrover/grab

 def test_load_spider_class(self):
     cfg = self.build_config(['test.util_module'])
     SPIDER_REGISTRY.clear()
     cls = load_spider_class(cfg, 'first_spider')
     self.assertEqual(cls, FirstSpider)

예제 #4

 def test_crawl_save_lists(self):
     FailSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('fail_spider', settings_module='test.files.crawl_settings')

예제 #5

파일: script_crawl.py 프로젝트: gwynnbleidd1984/grab

 def test_crawl_save_lists(self):
     FailSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('fail_spider', settings_module='test.files.crawl_settings')

예제 #6

파일: util_module.py 프로젝트: abael/grab

 def test_load_spider_class(self):
     cfg = self.build_config(['test.util_module'])
     SPIDER_REGISTRY.clear()
     cls = load_spider_class(cfg, 'first_spider')
     self.assertEqual(cls, FirstSpider)