W oficjalnym API Spark RDD:Interfejs Asada Spark do składania, zmniejszania, agregowania?
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/rdd/AsyncRDDActions.html
count, zbierać, foreach i podjąć wszystkie mają async warianty, które zwracają przyszłości.
Dlaczego foldowanie, redukowanie i agregowanie nie ma tego asynchronicznego/przyszłego interfejsu? To wydaje się dość ważne.
TL; DR: Różnica między zapłonowych „działania” w porównaniu z „przemian”: https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#rdd-operations
odnotować, że wszystkie rzeczy, które wymienione z opcją asynchroniczne zapłonowe „działania”, co oznacza, że od razu rozpoczną przetwarzanie danych i spróbują wrócić synchronicznie. Jeśli danych jest dużo, może to zająć dużo czasu, więc dobrze jest mieć opcję asynchroniczną.
Tymczasem operacje ty wymienione bez opcji asynchronicznej są zapłonowe „transformacje” które leniwie ocenione, co oznacza, że od razu tworzy plan do pracy, ale nie będzie faktycznie przetwarza żadnych danych, dopóki nie stosuje się "akcja" później, aby zwrócić wyniki.
W międzyczasie masz konkretny kod o kodzie lub problem, który próbujesz rozwiązać za pomocą tego?
I saveAsObjectFile – arivero