2015-12-19 8 views
5

Jestem ostatnio bardzo pochylona i zdezorientowana co do formowania pociągów i operacji akcji. Przeczytałem dokumentację iskry i książkę o iskrze i wiem, że akcja spowoduje, że iskra jona zostanie wykonana w klastrze, podczas gdy transformacja nie nastąpi. Ale operacje rdd wymienione w iskrowym api doc nie określają, czy jest to transforamcja czy operacja działania.Jak odróżnić operację w iskrze to transformacja lub działanie?

Na przykład, redu to działanie, z drugiej strony reduceByKey to transformacja! Dlaczego to możliwe.

Odpowiedz

9

Możesz powiedzieć, patrząc na typ zwrotu. Akcja zwróci typ inny niż RDD (zwykle typy przechowywane), podczas gdy transformacja zwróci wartość RDD[Type], ponieważ nadal jest tylko reprezentacją obliczeń.

Powiązane problemy