Python SPIDER_REGISTRYの例

コード例 #1

ファイル: script_crawl.py プロジェクト: abael/grab

 def test_crawl(self):
     TestSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('test_spider', settings_module='test.files.crawl_settings',
                disable_report=True)
     self.assertEquals(TestSpider.points, [b'1'])

コード例 #2

 def test_crawl(self):
     TestSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('test_spider',
                settings_module='test.files.crawl_settings',
                disable_report=True)
     self.assertEquals(TestSpider.points, [b'1'])

コード例 #3

ファイル: util_module.py プロジェクト: wyrover/grab

 def test_load_spider_class(self):
     cfg = self.build_config(['test.util_module'])
     SPIDER_REGISTRY.clear()
     cls = load_spider_class(cfg, 'first_spider')
     self.assertEqual(cls, FirstSpider)

コード例 #4

 def test_crawl_save_lists(self):
     FailSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('fail_spider', settings_module='test.files.crawl_settings')

コード例 #5

ファイル: script_crawl.py プロジェクト: gwynnbleidd1984/grab

 def test_crawl_save_lists(self):
     FailSpider.url = self.server.get_url()
     self.server.response['data'] = b'1'
     SPIDER_REGISTRY.clear()
     crawl.main('fail_spider', settings_module='test.files.crawl_settings')

コード例 #6

ファイル: util_module.py プロジェクト: abael/grab

 def test_load_spider_class(self):
     cfg = self.build_config(['test.util_module'])
     SPIDER_REGISTRY.clear()
     cls = load_spider_class(cfg, 'first_spider')
     self.assertEqual(cls, FirstSpider)