Python multiprocessing Pool zawiesza się na serwerze ubuntu

Question

Używam Django na serwerze Ubuntu z nginxem i gunicornem. Próbuję zrobić kilka procesów, które działają na mojej lokalnej maszynie, ale zawiesza się, dopóki pracownik gunicorn nie przekroczy czasu na moim serwerze.

cpu_count = int(multiprocessing.cpu_count()) 
pool = Pool(processes = cpu_count) 
result = pool.map_async(apiSimulAvail, rate_ranges) 
result.wait() 

...do some more stuff once all processes return 

Zawiesza się pod numerem pool = Pool(processes = cpu_count). Nie dostaję żadnych błędów, pracownik gunicorn po prostu przekracza limit czasu i uruchamia się ponownie.

Wszelkie wskazówki, dlaczego tak się dzieje i/lub jak mogę je rozwiązać, są bardzo mile widziane. Dzięki.

Answer 1

Zmień

pool = Pool(processes = cpu_count) 

do

pool = Pool(cpu_count) 

ta zakłada, że ​​już od importowanych Pool wieloprocesorowe inaczej trzeba zrobić

multiprocessing.Pool(cpu_count) 

Answer 2

To wydaje się być odmianą na Using python's Multiprocessing makes response hang on gunicorn, więc prawdopodobnie jest to dupe.

Powiedziałeś, że musisz korzystać z wieloprocesowości (MP)? Można uczciwie lepiej obsłużyć hodowlę niż coś takiego jak Seler. MP może zostać zabity wraz z gunicorn worker, gdy umiera, ponieważ jest właścicielem procesu MP. W zależności od konfiguracji serwera może się to zdarzyć dość często. Jeśli masz bardzo długotrwałą pracę, możesz ją wyhodować do Selera, to tylko trochę więcej konfiguracji.

Answer 3

Czy używasz jakiegoś asynchronicznego pracownika Gunicorn? Jeśli tak, spróbuj użyć domyślnego narzędzia do synchronizacji i sprawdź, czy możesz odtworzyć problem.

Jeśli problem można odtworzyć tylko podczas korzystania z asynchronicznych pracowników, należy upewnić się, że moduł multiprocessing jest poprawnie załatany.