czy jest jakaś pula dla ThreadingMixIn i ForkingMixIn dla SocketServer?

Question

starałem się zrobić proxy HTTP przy użyciu BaseHttpServer który jest oparty na SocketServer który dostał 2 asynchroniczny Wstawki (ThreadingMixIn i ForkingMixIn)

problem z tymi dwoma, które pracują na każde żądanie (przydzielić nowy wątek lub widelec nowy podproces dla każdego żądania) Czy istnieje Mixin wykorzystujący pulę powiedzmy 4 podprocesów i 40 wątków w każdym , aby żądania były obsługiwane przez te już utworzone wątki?

ponieważ byłby to duży wzrost wydajności i prawdopodobnie zaoszczędziłoby to trochę zasobów.

Answer 1

zacząłem projekt, który rozwiązuje ten problem,

https://github.com/muayyad-alsadi/python-PooledProcessMixIn

może chcesz dołączyć do mnie zakończyć todos (posprzątać po Ctrl + C)

Answer 2

Można korzystać z basenu concurrent.futures (w stdlib od Python 3.2):

from BaseHTTPServer import HTTPServer, test 
from SimpleHTTPServer import SimpleHTTPRequestHandler 
from SocketServer  import ThreadingMixIn 

from concurrent.futures import ThreadPoolExecutor # pip install futures 

class PoolMixIn(ThreadingMixIn): 
    def process_request(self, request, client_address): 
     self.pool.submit(self.process_request_thread, request, client_address) 

def main(): 
    class PoolHTTPServer(PoolMixIn, HTTPServer): 
     pool = ThreadPoolExecutor(max_workers=40) 

    test(HandlerClass=SimpleHTTPRequestHandler, ServerClass=PoolHTTPServer) 

if __name__=="__main__": 
    main() 

Jak widać wykonanie dla przypadku gwintowania jest dość trywialne.

Jeśli zapiszesz go server.py następnie można uruchomić go jako:

$ python -mserver 

Komenda ta używa zapisu do 40 wątków do obsługi żądań na http://your_host:8000/.

Głównym celem użycia HTTPServer jest do celów testowych.