Próbuję parallelize (używając snow::parLapply
) jakiś kod, który zależy od pakietu (czyli pakiet inne niż snow
). Przedmioty użyte w funkcji zwanej przez parLapply
musi być wyraźnie przekazane do klastra przy użyciu clusterExport
. Czy istnieje jakiś sposób, aby przekazać cały pakiet do klastra zamiast jawnie nazwać każdą funkcję (łącznie z wewnętrznymi funkcjami pakiet nazywa się funkcjami użytkownika!) W clusterExport
?Przechodząc cały pakiet do klastra śniegu
5
A
Odpowiedz
6
zainstalować pakiet na wszystkich węzłach i mieć połączenie kodu library(thePackageYouUse)
na wszystkich węzłach za pomocą jednego z dostępnych poleceń, jajko coś podobnego
clusterApply(cl, library(thePackageYouUse))
myślę pakiet parallel
, która pochodzi z ostatnich wydań R ma przykłady - - patrz na przykład tu od help(clusterApply)
gdzie pakiet boot
ładowany jest wszędzie:
## A bootstrapping example, which can be done in many ways:
clusterEvalQ(cl, {
## set up each worker. Could also use clusterExport()
library(boot)
cd4.rg <- function(data, mle) MASS::mvrnorm(nrow(data), mle$m, mle$v)
cd4.mle <- list(m = colMeans(cd4), v = var(cd4))
NULL
})
Powiązane problemy
- 1. Jaki jest najlepszy pakiet open source do klastra?
- 2. Importowanie opadów śniegu do niestandardowego pakietu R
- 3. Jak zmusić cały mój pakiet do zastosowania dyrektywy __future__?
- 4. Przechodząc do dynamicznego funktor STL
- 5. Przechodząc do argumentu „” .js.erb szablonu
- 6. Przechodząc do funkcji jako parametr
- 7. Przechodząc do mniej zmienny JavaScript
- 8. Przechodząc metoda obiektu do array_map()
- 9. Przechodząc HTML do mojego składnika
- 10. Grab cały tekst z HTML Html Agility Pakiet
- 11. Jak zaimportować cały pakiet, ale wyłączyć niektóre z Clojure?
- 12. Przenieś element, taki jak spadający płatek śniegu.
- 13. ORM Równoważny dla schematu gwiazda/płatek śniegu
- 14. Konfiguracja klastra Jetty do udostępniania stron internetowych
- 15. Podłączanie do klastra Redshift od pgAdmin
- 16. Macierz wejściowa do klastra opencv, które grupuje
- 17. Dodawanie węzłów do klastra usług sieci Web
- 18. Gwarantowana dostawa wielu wiadomości do klastra Kafka
- 19. Zmień klucz podstawowy z nieklastrowany do Klastra
- 20. elasticsearch - jak skopiować dane do innego klastra
- 21. Jak przesłać jar Spark do klastra EMR?
- 22. Przechodząc uniqueidentifier parametr do procedury przechowywanej
- 23. Przechodząc do funkcji jako parametr w Haxe
- 24. Przechodząc Python List do usługi WCF
- 25. Przechodząc funkcje Pythona jako obiekty do Spark
- 26. Przechodząc iterator i grafika do funkcji
- 27. Przechodząc funkcji członka do std :: wątek
- 28. Przechodząc String Connection do Entity Framework 6
- 29. przechodząc grep do zmiennej w bash
- 30. Przechodząc listę int do HttpGet życzenie
Dzięki Dirk. Czy są jakieś powody, dla których wykonanie 'clusterExport (ls())' byłoby niebezpieczne? To nie pomoże w przejściu funkcji z pakietami, ale byłoby to zaoszczędzić sporo bólu głowy szybko parallelize pętli (kogoś innego, nie moje!), Które polegają na tonę zmiennych globalnych. – Michael
To tylko zły projekt w tym, że wykorzystuje się zróżnicowane podejście oraz kuchennego zlewu. Zaprojektuj to, czego potrzebujesz w rozwiązaniu szeregowym, a następnie wykonaj to równolegle. –
Wystarczająco fair, dziękuję za pomoc. – Michael