Python ScrapyHTTPPageGetter.handleHeaderの例

コード例 #1

ファイル: downloader.py プロジェクト: pentium3/EXCITED

 def handleHeader(self, key, value):
     ScrapyHTTPPageGetter.handleHeader(self, key, value)
     # if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
     #     self.connectionLost('oversized')
     #     print("XXXXXXXXXXXXXX")
     if key.lower() == 'content-type' and value.lower() != 'text/html':
         self.connectionLost('unqualified_type')
         print("TTTTTTTTTTTTTT")

コード例 #2

ファイル: downloader.py プロジェクト: babykick/maiziedu-scraper

 def handleHeader(self, key, value):
     ScrapyHTTPPageGetter.handleHeader(self, key, value)
     if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
         self.connectionLost('oversized')

コード例 #3

ファイル: webclient.py プロジェクト: florentvalls/hyphe

 def handleHeader(self, key, value):
     ScrapyHTTPPageGetter.handleHeader(self, key, value)
     if self.factory.method.upper() == 'GET' and key.lower(
     ) == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
         self.connectionLost('response_too_big: %s' % value)

コード例 #4

ファイル: webclient.py プロジェクト: Big-Data/Hypertext-Corpus-Initiative

 def handleHeader(self, key, value):
     ScrapyHTTPPageGetter.handleHeader(self, key, value)
     if self.factory.method.upper() == 'GET' and key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
         self.connectionLost('response_too_big: %s' % value)

コード例 #5

ファイル: pagesizelimit.py プロジェクト: zanachka/scrapyext

 def handleHeader(self, key, value):
     ScrapyHTTPPageGetter.handleHeader(self, key, value)
     if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
         self.connectionLost('oversized')