Python DuplicatesFilterMiddlewareの例

コード例 #1

ファイル: test_schedulermiddleware_duplicatesfilter.py プロジェクト: kenzouyeh/scrapy

class DuplicatesFilterMiddlewareTest(unittest.TestCase):
    def setUp(self):
        self.mw = DuplicatesFilterMiddleware()
        self.spider = BaseSpider("foo")
        self.mw.open_spider(self.spider)

    def tearDown(self):
        self.mw.close_spider(self.spider)

    def test_process_spider_output(self):

        r1 = Request("http://scrapytest.org/1")
        r2 = Request("http://scrapytest.org/2")
        r3 = Request("http://scrapytest.org/2")
        r4 = Request("http://scrapytest.org/1")

        assert not self.mw.enqueue_request(self.spider, r1)
        assert not self.mw.enqueue_request(self.spider, r2)
        self.assertRaises(IgnoreRequest, self.mw.enqueue_request, self.spider, r3)
        self.assertRaises(IgnoreRequest, self.mw.enqueue_request, self.spider, r4)

コード例 #2

ファイル: test_schedulermiddleware_duplicatesfilter.py プロジェクト: richard-ma/CodeReading

class DuplicatesFilterMiddlewareTest(unittest.TestCase):

    def setUp(self):
        self.mw = DuplicatesFilterMiddleware()
        self.spider = BaseSpider('foo')
        self.mw.open_spider(self.spider)

    def tearDown(self):
        self.mw.close_spider(self.spider)

    def test_process_spider_output(self):

        r1 = Request('http://scrapytest.org/1')
        r2 = Request('http://scrapytest.org/2')
        r3 = Request('http://scrapytest.org/2')
        r4 = Request('http://scrapytest.org/1')

        assert not self.mw.enqueue_request(self.spider, r1)
        assert not self.mw.enqueue_request(self.spider, r2)
        self.assertRaises(IgnoreRequest, self.mw.enqueue_request, self.spider, r3)
        self.assertRaises(IgnoreRequest, self.mw.enqueue_request, self.spider, r4)

コード例 #3

ファイル: test_schedulermiddleware_duplicatesfilter.py プロジェクト: richard-ma/CodeReading

 def setUp(self):
     self.mw = DuplicatesFilterMiddleware()
     self.spider = BaseSpider('foo')
     self.mw.open_spider(self.spider)