Jakie jest najlepsze rozwiązanie dla kłopotliwego problemu równoległego?

Question

Przepraszamy za niewyraźne pytanie z tematu, ale pracuję nad niektórymi akademickimi procedurami przetwarzania wideo. Algorytmy są napisane w MATLAB-ie, i chociaż jest to dobre dla celów programistycznych, to przetwarza wideo o wartości około 60spf lub około 0,0166 fps. Nie trzeba dodawać, że to nie wystarczy na dema i takie, więc moja letnia praca polega na przekształceniu rutyny w coś, co będzie działać drastycznie szybciej.

Napisałem najwolniejszą część kodu dla CUDA, rozwiązania GPGPU nvidii. Jednak istnieje również duża część kodu, która wydaje się być lepiej wykonana na procesorze, ponieważ jest względnie szeregowa. Problem polega na tym, że maszyna, którą dostałem, ma 2 procesory Xeon, z 8 rdzeniami logicznymi, i wydaje się wstydem zawężać kod GPU przez kodowanie tylko dla pojedynczego rdzenia. Proces konwersji wideo działa tak, że każda klatka nie zależy od innych klatek, więc pomyślałem, że najlepiej będzie jakaś asynchroniczna kolejka/strumień.

Oto kłamstwo moje pytanie: jaki byłby najlepszy sposób na osiągnięcie tego typu równoległości z najlepszym stosunkiem wysiłku do zwiększenia wydajności?

Niektóre z rozwiązań, na które patrzyłem to OpenMP, .NET TPL i tylko proste pthreads.

Mam tylko podstawową ekspozycję na programowanie asynchroniczne, więc wolałbym raczej korzystać z biblioteki lub czegoś, niż bawić się z muteksami i barierami i strzelać sobie w stopy kilka razy. Nie mam nic przeciwko uczeniu się, ponieważ jest to jeden z moich celów na lato, ale jednocześnie równoległość to ciężko. Jednakże, jeśli różnica prędkości jest rzeczywiście bardzo zauważalna, jestem skłonny wyciągnąć włosy na kilka tygodni. : P

Z góry dziękuję.

Answer 1

Jeśli celem jest maksymalizacja wysiłku, aby uzyskać plon, polecam przeglądanie licencji TPL w .NET. Jest to prawdopodobnie najprostszy sposób wdrożenia tego. W zależności od tego, co robi twój kod, możesz utworzyć potok lub po prostu użyć Parallel.For (lub ForEach) na każdej "ramce".

W związku z tym, jeśli chcesz pozostać przy natywnym, niezarządzanym kodzie, dobrym rozwiązaniem może być nowa wersja Microsoft Parallel Patterns Library lub Intel's Threading Building Blocks. Oba mają podobne konstrukcje do nowej licencji TPL, szczególnie w przypadku paralelizmu danych, co sprawiłoby, że byłoby to dość łatwe do zrównoleglania, o ile "każda klatka nie zależy od innych ramek" pozostaje prawdą.

Answer 2

Moja rada to podejście w sposób stopniowy.

1. Po pierwsze, udowodnij, że masz funkcjonalną implementację inną niż MATLAB. To nie jest trywialne i, szczerze mówiąc, myślę, że powinieneś zaplanować wydawanie 100% swoich cyklów mózgowych na poprawność, zanim pomyślisz o wydajności.

2. Podzielenie rozwiązania: udowodnij, że możesz wziąć rutynę, która według ciebie jest oddzielona od reszty implementacji i wyizolować ją syntaktycznie od reszty kodu. Na przykład, jeśli mówisz o znaczniku promieni, możesz wziąć matematykę, która wynika z jednego punktu widzenia, promieniującego pojedynczym pikselem do wspólnego środowiska. Jest to również nietrywialne, ponieważ wymaga myślenia o tym, co jest rzeczywiście powszechne (np. Geometria środowiska, mapy tekstur itp.) I co jest charakterystyczne dla wyjątkowej sytuacji (np. Promień od oka do piksela) . Profilowanie wydajności jest tutaj Twoim przyjacielem.

3. Zidentyfikować składnię bibliotek lub frameworków, które są zainteresowane, które będą wymagane do równoległego tworzenia wątków/procesów, uruchamiania ich i dołączania do ich wyników po zakończeniu. Uwaga: musisz mieć wzajemne wykluczenie na współdzielonych danych, itp. Na przykład w świecie Java będzie to java.util.concurrency.

4. Spróbuj utworzyć dwa (tylko dwa) wątki, aby podzielić swoją pracę na pół. Pisz testy porównawcze, które pozwolą Ci zmierzyć początkowe rozwiązanie, rozwiązanie dla N = 2 wątków i sprofilować wyniki.

5. Tylko wtedy powinieneś pomyśleć o dalszej równoległości.

Jeśli wykonaj kroki jak te, będziesz (a) odnieść sukces w swojej rzeczywistej zadania (port z MATLAB), (b) mieć coś, co działa na niektórych znanych wskaźników wydajności oraz (c) posiada jasne do przodu, jeśli chcesz dalej wykorzystywać możliwości parallizowania.