Uzyskaj maksymalną wartość dla każdego klucza w Spark RDD

Question

Jaki jest najlepszy sposób na zwrócenie maksymalnego wiersza (wartości) powiązanego z każdym unikalnym kluczem w iskrowym RDD?

Używam Pythona i próbowałem Math max, mapowanie i zmniejszanie o klucze i agregaty. Czy istnieje skuteczny sposób na zrobienie tego? Prawdopodobnie UDF?

mam w formacie RDD:

[(v, 3), 
(v, 1), 
(v, 1), 
(w, 7), 
(w, 1), 
(x, 3), 
(y, 1), 
(y, 1), 
(y, 2), 
(y, 3)] 

I muszę wrócić:

[(v, 3), 
(w, 7), 
(x, 3), 
(y, 3)] 

Krawaty może powrócić pierwsza wartość lub losowo.

Answer 1

W rzeczywistości masz paręRDD. Jednym z najlepszych sposobów na to jest z reduceByKey:

(Scala)

val grouped = rdd.reduceByKey(math.max(_, _)) 

(Python)

grouped = rdd.reduceByKey(max) 

(Java 7)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    new Function2<Integer, Integer, Integer>() { 
     public Integer call(Integer v1, Integer v2) { 
      return Math.max(v1, v2); 
    } 
}); 

(Java 8)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    (v1, v2) -> Math.max(v1, v2) 
); 

doc API dla reduceByKey:

• Scala
• Python
• Java