Jak zmniejszyć CUDA przeprowadzenia synchronizacji opóźnienia/zwłoki

Question

To pytanie jest związane z użyciem strumieni CUDA uruchomić wiele jądra

W CUDA istnieją komendy wielu synchronizacja cudaStreamSynchronize, CudaDeviceSynchronize, cudaThreadSynchronize, a także cudaStreamQuery aby sprawdzić, czy strumienie są puste.

Zauważyłem przy użyciu profilera, że ​​te polecenia synchronizacji wprowadzają duże opóźnienie do programu. Zastanawiałem się, czy ktokolwiek zna jakieś sposoby na zmniejszenie tego opóźnienia, oprócz oczywiście użycia jak najmniejszej liczby poleceń synchronizacji.

Czy są też jakieś dane pozwalające ocenić najbardziej skuteczną metodę synchronizacji. to jest rozważenie 3 strumieni używanych w aplikacji, a dwa z nich muszą ukończyć dla mnie wypuszczenie czterech strumieni, czy powinienem użyć 2 cudaStreamSyncs lub tylko jednego cudaDeviceSync, co spowoduje mniej strat?

Answer 1

Główna różnica między metodami synchronizacji to "odpytywanie" i "blokowanie".

"Pobieranie" jest domyślnym mechanizmem oczekiwania sterownika na GPU - oczekuje 32-bitowej lokalizacji pamięci na osiągnięcie określonej wartości zapisanej przez GPU. Może on zwrocić czekanie szybciej po rozwiązaniu problemu, ale podczas oczekiwania spala rdzeń procesora patrząc na tę lokalizację pamięci.

"Zablokowanie" można uzyskać, dzwoniąc pod numer cudaSetDeviceFlags() pod numerem cudaDeviceScheduleBlockingSync lub pod numerem cudaEventCreate() pod numerem cudaEventBlockingSync. Zablokowanie czekania powoduje, że sterownik wprowadza polecenie do bufora poleceń DMA, który sygnalizuje przerwanie, gdy wszystkie poprzednie polecenia w buforze zostały wykonane. Sterownik może następnie odwzorować przerwanie na zdarzenie systemu Windows lub uchwyt pliku systemu Linux, umożliwiając komendom synchronizacji oczekiwanie bez ciągłego nagrywania procesora, podobnie jak domyślne metody odpytywania.

Zapytania są w zasadzie ręczną kontrolą tej 32-bitowej lokalizacji pamięci używanej do czekania; więc w większości sytuacji są bardzo tanie. Ale jeśli ECC jest włączone, zapytanie przełączy się w tryb jądra, aby sprawdzić, czy są jakieś błędy ECC; i w systemie Windows wszelkie oczekujące polecenia zostaną przepłukane do sterownika (co wymaga odgłosu jądra).