Chciałbym utworzyć RDD do zbierania wyników obliczeń iteracyjnych.Tworzenie RDD do zbierania wyników obliczeń iteracyjnych
Jak można użyć pętli (lub alternatywnego) wymienić następujące kod:
import org.apache.spark.mllib.random.RandomRDDs._
val n = 10
val step1 = normalRDD(sc, n, seed = 1)
val step2 = normalRDD(sc, n, seed = (step1.max).toLong)
val result1 = step1.zip(step2)
val step3 = normalRDD(sc, n, seed = (step2.max).toLong)
val result2 = result1.zip(step3)
...
val step50 = normalRDD(sc, n, seed = (step49.max).toLong)
val result49 = result48.zip(step50)
(tworzenie RDD kroku n i skompresowanie następnie razem w celu byłoby również ok jak długo 50 ZOPS tworzone są iteracyjnie respektować nasion = (etap (n-1) .max) warunek)
będzie używać 'Stream.unfold' z scalaz celu wygenerowania strumień kroków, a następnie zip to sam ze sobą i/lub scanRight .. – Reactormonk