Exemplo n.º 1
0
 def parse_page(self, response):
     item = parse_response(response)
     if item:
         try:
             item['url'] = response.meta['origin_url']
         except:
             pass
         return item
     else:
         parse_error(response)
Exemplo n.º 2
0
 def parse(self, response):
     return parse_response(response)
Exemplo n.º 3
0
 def parse_page(self, response):
     self.max_count += 1
     #crawl max_count page per date
     if self.max_count > 5000:
         raise CloseSpider('url_exceeded')
     return parse_response(response)