Czy łączenie współdzielonych RDD powoduje przetasowanie w Apache Spark?

Question

Czy spowoduje przetasowanie, jeśli rdd1 i rdd2 mają ten sam partycjoner?

Answer 1

Nie. Jeśli dwa urządzenia RDD mają tę samą partycję, join nie spowoduje przetasowania. Można to zobaczyć w CoGroupedRDD.scala:

override def getDependencies: Seq[Dependency[_]] = { 
    rdds.map { rdd: RDD[_ <: Product2[K, _]] => 
    if (rdd.partitioner == Some(part)) { 
     logDebug("Adding one-to-one dependency with " + rdd) 
     new OneToOneDependency(rdd) 
    } else { 
     logDebug("Adding shuffle dependency with " + rdd) 
     new ShuffleDependency[K, Any, CoGroupCombiner](rdd, part, serializer) 
    } 
    } 
} 

Uwaga jednak, że brak shuffle, nie oznacza, że ​​żadne dane nie będą musiały być przenoszone między węzłami. Jest możliwe, że dwa RDD mają ten sam partycjoner (są współdzielone), ale mają odpowiednie partycje zlokalizowane w różnych węzłach (nie mogą być zlokalizowane).

Ta sytuacja jest lepsza niż przetasowanie, ale należy o tym pamiętać. Kolokacja może poprawić wydajność, ale jest trudna do zagwarantowania.