예제 #1
0
파일: script_crawl.py 프로젝트: abael/grab
 def test_crawl(self):
     TestSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('test_spider', settings_module='test.files.crawl_settings',
                disable_report=True)
     self.assertEquals(TestSpider.points, [b'1'])
예제 #2
0
 def test_crawl(self):
     TestSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('test_spider',
                settings_module='test.files.crawl_settings',
                disable_report=True)
     self.assertEquals(TestSpider.points, [b'1'])
예제 #3
0
파일: util_module.py 프로젝트: wyrover/grab
 def test_load_spider_class(self):
     cfg = self.build_config(['test.util_module'])
     SPIDER_REGISTRY.clear()
     cls = load_spider_class(cfg, 'first_spider')
     self.assertEqual(cls, FirstSpider)
예제 #4
0
 def test_crawl_save_lists(self):
     FailSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('fail_spider', settings_module='test.files.crawl_settings')
예제 #5
0
 def test_crawl_save_lists(self):
     FailSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('fail_spider', settings_module='test.files.crawl_settings')
예제 #6
0
파일: util_module.py 프로젝트: abael/grab
 def test_load_spider_class(self):
     cfg = self.build_config(['test.util_module'])
     SPIDER_REGISTRY.clear()
     cls = load_spider_class(cfg, 'first_spider')
     self.assertEqual(cls, FirstSpider)