Czy istnieje lewy zewnętrzny ekwiwalent złącza w SPARK SCALA? Rozumiem, że istnieje operacja łączenia, która jest równoważna wewnętrznemu złączeniu bazy danych.Równoważna z lewą zewnętrzną złączką w SPARKU
Odpowiedz
Scena Spark ma wsparcie lewe sprzężenie zewnętrzne. Rzucić okiem tutaj http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD
Użycie jest bardzo proste, jak
rdd1.leftOuterJoin(rdd2)
Tak, istnieje. Spójrz na DStream APIs i zapewnili lewe i prawe połączenia zewnętrzne.
Jeśli masz strumień typu powiedzmy „Record”, a chcesz połączyć dwa strumienie zapisów, to można to zrobić tak:
var res: DStream[(Long, (Record, Option[Record]))] = left.leftOuterJoin(right)
Ponieważ API powiedzieć, lewy i odpowiednie strumienie muszą być podzielone na hasz. tzn. możesz pobrać atrybuty z rekordu (lub mogą być w jakikolwiek inny sposób), aby obliczyć wartość skrótu i przekształcić go w parowanie strumienia DStream. left
i right
strumienie będą typu DStream[(Long, Record)]
przed wywołaniem tej funkcji łączenia. (Jest to tylko przykład: Typ skrótu może być innego rodzaju niż Long
).
Jest to tak proste, jak rdd1.leftOuterJoin(rdd2)
ale trzeba się upewnić, oba RDD są w formie (klucz, wartość) dla każdego elementu the rdd's.
Spark SQL/Dane Rama API obsługuje również lewo/prawo/PEŁEN zewnętrzna łączy bezpośrednio:
https://spark.apache.org/docs/latest/sql-programming-guide.html
Z powodu tego błędu: https://issues.apache.org/jira/browse/SPARK-11111 zewnętrzna łączy w Spark przed 1.6 może być bardzo powolne (chyba że masz naprawdę małe zestawy danych do przyłączenia się). Kiedyś używał produktu kartezjańskiego, a następnie filtrował przed 1.6. Teraz używa zamiast tego SortMergeJoin.
- 1. Jak wykonać lewą zewnętrzną złączkę z Laravel?
- 2. Jak działa partycjonowanie w Sparku?
- 3. Java Równoważna z funkcją iif
- 4. Metoda równoważna z odpowiednikiem -respondsToSelector:
- 5. Jak uzyskać identyfikator zadania mapy w Sparku?
- 6. Równoważna z Array.some w ruby / railach
- 7. Używanie Redmine z zewnętrzną Wiki?
- 8. Ukryj lewą kolumnę DataGridView
- 9. Równoważna funkcja dimshuffle w Numpy
- 10. "Która" równoważna funkcja w Pythonie
- 11. Równoważna nazwa Golang.txt
- 12. Konfiguracja PuTTY równoważna z OpenSSH ProxyCommand
- 13. Równoważna komenda msbuild do publikowania z VS2008
- 14. Python Równoważna do phpinfo()
- 15. ASP.NET Równoważna z tą komendą cURL
- 16. Równoważna struktura pętli zagnieżdżonej z Itertools
- 17. W jaki sposób partycje mapują się do zadań w Sparku?
- 18. Rezygnując aplikację zewnętrzną Xcode
- 19. C++ 11 Równoważna do Boost.Format
- 20. Co dzieje się z zewnętrzną funkcją inline?
- 21. Uruchom aplikację zewnętrzną z pliku node.js
- 22. Jak załadować plik właściwości Java i użyć go w Sparku?
- 23. Czy istnieje metoda równoważna LINQ?
- 24. Jak dodać nazwę pliku źródłowego do każdego wiersza w Sparku?
- 25. Wypełnij zewnętrzną część prostokąta.
- 26. Jak zdjąć zewnętrzną div z jQuery
- 27. Równoważna z Angular 1 poza tym w Angular 2
- 28. Równoważna liczba rubinowa # each_slice w JavaScript?
- 29. Równoważna funkcja datenum (datestring) Matlaba w Pythonie
- 30. Aktualizacja zewnętrzną monady tylko w transformatorze monada
dzięki ... to będzie pomocne, jeśli możesz podać przykład kodu ... – user3279189