Która funkcja iskry jest używana do łączenia dwóch RDD za pomocą klawiszy

Question

Powiedzmy, że mam następujące dwa RDD z następującymi wartościami para kluczy.

rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] 

i

rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ] 

Teraz chcę połączyć je przez kluczowe wartości, tak na przykład chcę zwrócić następujący

ret = [ (key1, [value1, value2, value5, value6]), (key2, [value3, value4, value7]) ] 

Jak mogę to zrobić, w iskra za pomocą Python lub Scala? Jednym ze sposobów jest użycie join, ale join tworzy krotkę wewnątrz krotki. Ale chcę mieć tylko jedną krotkę na parę kluczy.

Answer 1

Chciałbym połączyć dwa RDD i zmniejszyćByKey, aby połączyć wartości.

(rdd1 union rdd2).reduceByKey(_ ++ _) 

Answer 2

Po prostu użyj join, a następnie map wynikowego rdd.

rdd1.join(rdd2).map(case (k, (ls, rs)) => (k, ls ++ rs))