Jak przyspieszyć ten Twisted Python Proxy?

Question

Poniższy kod jest proxy HTTP do filtrowania treści. Używa polecenia GET do wysyłania adresu URL bieżącej witryny do serwera, gdzie przetwarza ją i odpowiada. Działa VERY, BARDZO, BARDZO wolno. Wszelkie pomysły, jak przyspieszyć działanie?

Oto kod:

from twisted.internet import reactor 
from twisted.web import http 
from twisted.web.proxy import Proxy, ProxyRequest 
from Tkinter import * 
#import win32api 
import urllib2 
import urllib 
import os 
import webbrowser 

cwd = os.path.abspath(sys.argv[0])[0] 
proxies = {} 
user = "zachb" 
class BlockingProxyRequest(ProxyRequest): 
    def process(self): 
     params = {} 
     params['Location']= self.uri 
     params['User'] = user 
     params = urllib.urlencode(params) 
     req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
     resp = req.read() 
     req.close() 
     if resp == "allow": 
      pass 
     else: 
      self.transport.write('''BLOCKED BY ADMIN!''') 
      self.transport.loseConnection() 

     ProxyRequest.process(self) 

class BlockingProxy(Proxy): 
    requestFactory = BlockingProxyRequest 
factory = http.HTTPFactory() 
factory.protocol = BlockingProxy 

reactor.listenTCP(8000, factory) 
reactor.run() 

Ktoś ma jakieś pomysły, jak zrobić to biegać szybciej? A może nawet lepszy sposób na napisanie?

Answer 1

Główną przyczyną powolność tego proxy prawdopodobnie tych dwóch linii

req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
    resp = req.read() 
    req.close() 

Normalny skręcone oparte jest zastosowanie pojedynczego gwintowanego. Musisz zejść z siebie, aby włączyć wątki. Oznacza to, że za każdym razem, gdy przychodzi żądanie, blokujesz jeden i jedyny wątek przetwarzania na tym żądaniu HTTP. Żadne dalsze żądania nie zostaną przetworzone do czasu zakończenia tego żądania HTTP.

Spróbuj użyć jednego z interfejsów API w twisted.web.client (np. Agent lub getPage). Te interfejsy API nie blokują, więc serwer będzie obsługiwać jednocześnie równoczesne żądania. To powinno przełożyć się na znacznie krótszy czas reakcji.