multiprocessing.dummy w Pythonie nie wykorzystuje 100% procesora

Question

Wykonuję projekt uczenia maszynowego w Pythonie, więc muszę równolegle przewidywać funkcję, której używam w moim programie.

from multiprocessing.dummy import Pool 
from multiprocessing import cpu_count 


def multi_predict(X, predict, *args, **kwargs): 
    pool = Pool(cpu_count()) 
    results = pool.map(predict, X) 
    pool.close() 
    pool.join() 
    return results 

Problem polega na tym, że wszystkie moje procesory zostały załadowane tylko na 20-40% (w sumie jest to 100%). Używam metody wieloprocesowej.dummy, ponieważ mam problem z modułem wieloprocesowym w funkcji trawienia.

Answer 1

Podczas korzystania multiprocessing.dummy, używasz wątki, a nie procesy:

multiprocessing.dummy replikuje API multiprocessing ale ma więcej niż owinięcie wokół modułu threading.

To oznacza, że ​​użytkownik jest ograniczony przez Global Interpreter Lock (GIL) i tylko jeden wątek może wykonywać operacje związane z procesorem na raz. To powstrzyma cię od pełnego wykorzystania procesorów. Jeśli chcesz uzyskać pełny paralelizm we wszystkich dostępnych rdzeniach, musisz rozwiązać problem trawienia, który uderzasz pod numerem multiprocessing.Pool.

Zauważ, że multiprocessing.dummy może być nadal przydatny, jeśli praca, którą chcesz zrównoleglić, jest związana z IO lub używa rozszerzenia C, które uwalnia GIL. Jednak dla czystego kodu Pythona będziesz potrzebował multiprocessing.