Równoważna z lewą zewnętrzną złączką w SPARKU

Question

Czy istnieje lewy zewnętrzny ekwiwalent złącza w SPARK SCALA? Rozumiem, że istnieje operacja łączenia, która jest równoważna wewnętrznemu złączeniu bazy danych.

Answer 1

Scena Spark ma wsparcie lewe sprzężenie zewnętrzne. Rzucić okiem tutaj http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD

Użycie jest bardzo proste, jak

rdd1.leftOuterJoin(rdd2) 

Answer 2

Tak, istnieje. Spójrz na DStream APIs i zapewnili lewe i prawe połączenia zewnętrzne.

Jeśli masz strumień typu powiedzmy „Record”, a chcesz połączyć dwa strumienie zapisów, to można to zrobić tak:

var res: DStream[(Long, (Record, Option[Record]))] = left.leftOuterJoin(right) 

Ponieważ API powiedzieć, lewy i odpowiednie strumienie muszą być podzielone na hasz. tzn. możesz pobrać atrybuty z rekordu (lub mogą być w jakikolwiek inny sposób), aby obliczyć wartość skrótu i ​​przekształcić go w parowanie strumienia DStream. left i right strumienie będą typu DStream[(Long, Record)] przed wywołaniem tej funkcji łączenia. (Jest to tylko przykład: Typ skrótu może być innego rodzaju niż Long).

Answer 3

Jest to tak proste, jak rdd1.leftOuterJoin(rdd2) ale trzeba się upewnić, oba RDD są w formie (klucz, wartość) dla każdego elementu the rdd's.

Answer 4

Spark SQL/Dane Rama API obsługuje również lewo/prawo/PEŁEN zewnętrzna łączy bezpośrednio:

https://spark.apache.org/docs/latest/sql-programming-guide.html

Z powodu tego błędu: https://issues.apache.org/jira/browse/SPARK-11111 zewnętrzna łączy w Spark przed 1.6 może być bardzo powolne (chyba że masz naprawdę małe zestawy danych do przyłączenia się). Kiedyś używał produktu kartezjańskiego, a następnie filtrował przed 1.6. Teraz używa zamiast tego SortMergeJoin.