Wydajność kara podczas wywoływania jądra cuda

Question

zastanawiam co napowietrznej wykonywania połączenia jądra CUDA jest w C/C++, takie jak:

somekernel1<<<blocks,threads>>>(args); 
somekernel2<<<blocks,threads>>>(args); 
somekernel3<<<blocks,threads>>>(args); 

Powodem Pytam to dlatego, że Aplikacja, którą buduję obecnie sprawia, że ​​powtarzające się połączenia w kilka jądra (bez pamięci są ponownie odczytywane/zapisywane na urządzeniu między połączeniami) i zastanawiam się, czy zawijanie tych połączeń jądra w jedno wywołanie jądra (z somekernel1-3 stają się funkcje urządzenia) spowodowałoby jakąkolwiek istotną różnicę w wydajności.

Answer 1

Uruchamianie jądra po stronie hosta przy użyciu interfejsu API środowiska wykonawczego wynosi tylko około 15-30 mikrosekund na platformach innych niż WDDM dla systemu Windows. Na platformach WDDM (których nie używam) rozumiem, że może być znacznie, dużo więcej, a ponadto w sterowniku jest jakiś mechanizm dozujący, który próbuje amortyzować koszty, wykonując wiele operacji w jednej operacji po stronie kierowcy.

Zasadniczo nastąpi wzrost wydajności "łączenia" operacji związanych z wieloma danymi, które w innym przypadku byłyby wykonywane w oddzielnych jądrach w jednym jądrze, na które pozwalają algorytmy. GPU ma znacznie wyższą arytmetyczną wydajność szczytową niż przepustowość pamięci szczytowej, więc im więcej FLOPów, które mogą być wykonywane na transakcję pamięci (i na "kodzie konfiguracji" jądra), tym lepsza będzie wydajność jądra. Z drugiej strony, próba napisania jądra "szwajcarskiego scyzoryka", który stara się całkowicie rozproszyć różne operacje w jednym kawałku kodu, nigdy nie jest szczególnie dobrym pomysłem, ponieważ zwiększa nacisk rejestru i zmniejsza wydajność takich rzeczy jak L1, stałe pamięci i pamięci podręczne tekstur.

Którą drogą wybierzesz, należy kierować się naturą kodu/algorytmów. Nie wierzę, że istnieje jedna "poprawna" odpowiedź na to pytanie, którą można zastosować we wszystkich okolicznościach.

Answer 2

Jeśli używasz programu Visual Studio Pro w systemie Windows, sugeruję uruchomienie aplikacji testowej przy użyciu programu Parallel NSight firmy NVidia, myślę, że może on odczytać znaczniki czasu z wywołania metody do rzeczywistej realizacji, w każdym przypadku kara jest nieodłączna , ale będzie to nieistotne, jeśli twoje jądra będą trwały długo.