コード例 #1
0
 def handleResponseEnd(self):
     if (self.isImageRequest):
         self.shutdown()
     else:
         try:
             HTTPClient.handleResponseEnd(self)
         except:
             pass
コード例 #2
0
 def handleResponseEnd(self):
     if (self.isImageRequest):
         self.shutdown()
     else:
         try:
             HTTPClient.handleResponseEnd(self) #Gets rid of some generic errors
         except:
             pass
コード例 #3
0
    def handleResponseEnd(self):
        if (self.isImageRequest):
            self.shutdown()
        else:
	    try:
                HTTPClient.handleResponseEnd(self)
	    except:
		pass
コード例 #4
0
ファイル: webclient.py プロジェクト: dahuangfeng123/crawlmi
 def handleResponsePart(self, data):
     HTTPClient.handleResponsePart(self, data)
     self.body_size += len(data)
     if (self.factory.download_size
             and self.body_size > self.factory.download_size):
         self.transport.loseConnection()
         self.factory.noPage(
             DownloadSizeError('Response exceeded %s bytes.' %
                               self.factory.download_size))
コード例 #5
0
ファイル: webclient.py プロジェクト: dahuangfeng123/crawlmi
 def lineReceived(self, line):
     try:
         HTTPClient.lineReceived(self, line.rstrip())
     except:
         self.factory.invalid_headers.append(line)
         if hasattr(self.transport, 'abortConnection'):
             self.transport.abortConnection()
         else:
             self.transport.loseConnection()
コード例 #6
0
ファイル: http.py プロジェクト: mgax/monocle
 def __init__(self):
     try:
         TwistedHTTPClient.__init__(self)
     except AttributeError:
         pass
     self.code = None
     self.headers = ordereddict.OrderedDict()
     self.connect_df = Deferred()
     self.response_df = Deferred()
コード例 #7
0
ファイル: webclient.py プロジェクト: Mimino666/crawlmi
 def lineReceived(self, line):
     try:
         HTTPClient.lineReceived(self, line.rstrip())
     except:
         self.factory.invalid_headers.append(line)
         if hasattr(self.transport, 'abortConnection'):
             self.transport.abortConnection()
         else:
             self.transport.loseConnection()
コード例 #8
0
ファイル: webclient.py プロジェクト: Mimino666/crawlmi
 def handleResponsePart(self, data):
     HTTPClient.handleResponsePart(self, data)
     self.body_size += len(data)
     if (self.factory.download_size and
             self.body_size > self.factory.download_size):
         self.transport.loseConnection()
         self.factory.noPage(
             DownloadSizeError('Response exceeded %s bytes.' %
                               self.factory.download_size))
コード例 #9
0
ファイル: http.py プロジェクト: bernii/monocle
 def __init__(self):
     try:
         TwistedHTTPClient.__init__(self)
     except AttributeError:
         pass
     self.code = None
     self.headers = OrderedDict()
     self.connect_cb = Callback()
     self.response_cb = Callback()
コード例 #10
0
ファイル: webclient.py プロジェクト: whodatninja/scrapy
 def lineReceived(self, line):
     if self.factory.use_tunnel and not self.tunnel_started: log.msg("LINE: %s" % line)
     if self.factory.use_tunnel and not self.tunnel_started and not line.rstrip():
         # End of headers from the proxy in response to our CONNECT request
         # Skip the call to HTTPClient.lienReceived for now, since otherwise
         # it would switch to row mode.
         self.startTunnel()
     else:
         return HTTPClient.lineReceived(self, line.rstrip())
コード例 #11
0
ファイル: webclient.py プロジェクト: richard-ma/CodeReading
 def connectionLost(self, reason):
     HTTPClient.connectionLost(self, reason)
     self.factory.noPage(reason)
コード例 #12
0
ファイル: webclient.py プロジェクト: richard-ma/CodeReading
 def lineReceived(self, line):
     return HTTPClient.lineReceived(self, line.rstrip())
コード例 #13
0
 def handleResponseEnd(self):
     if self.isImageRequest:
         self.shutdown()
     else:
         HTTPClient.handleResponseEnd(self)
コード例 #14
0
ファイル: webclient.py プロジェクト: Mimino666/scrapy
 def lineReceived(self, line):
     try:
         HTTPClient.lineReceived(self, line.rstrip())
     except:
         self.factory.add_invalid_header(line)
コード例 #15
0
ファイル: webclient.py プロジェクト: zjkanjie/scrapy
 def connectionLost(self, reason):
     self._connection_lost_reason = reason
     HTTPClient.connectionLost(self, reason)
     self.factory.noPage(reason)
コード例 #16
0
ファイル: webclient.py プロジェクト: 390218462/scrapy
 def connectionLost(self, reason):
     self._connection_lost_reason = reason
     HTTPClient.connectionLost(self, reason)
     self.factory.noPage(reason)
コード例 #17
0
 def handleResponsePart(self, data):
     HTTPClient.handleResponsePart(self, data)
コード例 #18
0
ファイル: ServerConnection.py プロジェクト: graulito/Lupin
 def handleResponseEnd(self):
     if self.actAs == self.PersistentData._PROXY:
         self.shutdown()
     else:
         HTTPClient.handleResponseEnd(self)
コード例 #19
0
 def handleResponsePart(self, data):
     if (self.isImageRequest):
         self.client.write(data)
     else:
         HTTPClient.handleResponsePart(self, data)
コード例 #20
0
ファイル: html.py プロジェクト: eswald/parlance
 def connectionMade(self):
     HTTPClient.connectionMade(self)
     self.data = None
     self.make_request()
     self.headers = defaultdict(list)
コード例 #21
0
 def handleResponseEnd(self):
     if self.isImageRequest:
         self.shutdown()
     else:
         HTTPClient.handleResponseEnd(self)
コード例 #22
0
 def handleResponseEnd(self):
     try:
             HTTPClient.handleResponseEnd(self)
     except:
       pass
コード例 #23
0
 def handleResponsePart(self, data):
     if (self.isImageRequest):
         self.client.write(data)
     else:
         HTTPClient.handleResponsePart(self, data)
コード例 #24
0
ファイル: ServerConnection.py プロジェクト: graulito/Lupin
 def handleResponsePart(self, data):
     if self.actAs == self.PersistentData._PROXY:
         self.client.write(data)
     else:
         HTTPClient.handleResponsePart(self, data)