Julia programowanie równoległe - Making istniejących funkcji dostępnych dla wszystkich pracowników

Question

mam do czynienia z następującym problemem:

Mam funkcji o nazwie TrainModel że biegnie przez bardzo długi czas na jednym wątku. Po zakończeniu obliczeń zwraca funkcję jako argument wyjściowy, nazwijmy ją: f. Kiedy zapytać typ tego f, Julia wraca:

(generic function with 1 method)

(nie jestem pewien tego ostatniego kawałka informacji jest przydatny każdemu, kto czyta ten temat)

Teraz w drugim etapie I należy zastosować funkcję f na bardzo dużej tablicy wartości. To jest krok, który chciałbym przeprowadzić paralelizując. Po uruchomieniu Julii z wieloma procesami, np.

julia -p 4 

idealnie, użyłbym:

pmap(f, my_values) 

czy może:

aux = @parallel (hcat) for ii=1:100000000 
     f(my_values[ii]) 
     end 

Niestety, to nie zadziała. Julia twierdzi, że pracownicy nie są świadomi funkcji f, to mogę dostać messsage:

ERROR: function f not defined on process 2

Jak mogę funkcja f dostępne dla wszystkich pracowników? Oczywiście rozwiązanie „brudne” byłoby uruchomić czasochłonne funkcja TrainModel na wszystkich pracowników, jak to być może:

@everywhere f = TrainModel(...) 

ale to byłoby marnotrawstwo cpu kiedy wszystko czego chcę to, że po prostu wynikiem f jest dostępny dla wszystkich pracowników.

Choć Szukałem postow z podobnymi problemami, jak dotąd nie mogę znaleźć odpowiedzi ...

Z góry dzięki! najlepszym

N.

Answer 1

Podejście do powrotu funkcja wydaje się elegancki, ale niestety, w przeciwieństwie do JavaScriptu, Julia nie rozwiąże wszystkich zmiennych podczas tworzenia funkcji. Technicznie, twoja funkcja szkoleniowa może wytworzyć kod źródłowy funkcji z dosłownymi wartościami dla wszystkich wyszkolonych parametrów. Następnie przekaż go do każdego z procesów roboczych, który może przeanalizować go w swoim środowisku do funkcji wywoływalnej.

Proponuję zwrócić strukturę danych zawierającą wszystkie informacje potrzebne do wytworzenia wyszkolonej funkcji: wagi SSN, wektorów wsparcia, reguł decyzyjnych ... Definiować "wyszkoloną" funkcję w procesach roboczych tak, aby wykorzysta wyszkolone parametry. Być może zechcesz mieć możliwość zapisania wyników treningu na dysku, tak abyś mógł łatwo ponownie tworzyć swoje obliczenia.

Answer 2

Istnieje rozwiązanie uniksowe oparte na pakiecie PTools.jl (https://github.com/amitmurthy/PTools.jl).

Opiera się na równoległości poprzez rozwidlenie zamiast wbudowanego mechanizmu Julii. Rozwidlone procesy są tworzone w tym samym obszarze roboczym co proces główny, więc wszystkie funkcje i zmienne są bezpośrednio dostępne dla pracowników.

Jest to podobne do klastrów Fork w pakiecie równoległym R, więc może być używane jako funkcja mclapply.

Funkcja będąca przedmiotem zainteresowania to pfork (n :: Integer, f :: Function, args ...) i jedną zauważalną różnicą w mclapply w R jest to, że funkcja f musi przyjąć jako pierwszy argument indeks pracownika.

Przykład:

Pkg.add("PTools") 
Pkg.checkout("PTools") #to get the last version, else the package does not build at the time of writing 

using PTools 
f(workid,x) = x[workid] + 1 
pfork(3, f, [1,2,3,4,5]) #Only the three first elements of the array will be computed 

3-element Array{Any,1}: 
2 
3 
4 

Spodziewam się, że interfejs do pfork zostanie zbudowany tak, że pierwszy argument funkcji nie trzeba będzie indeks pracownika, ale na razie nie może być używane do rozwiązania problemu