Mogę użyć withcolumn, aby dodać nowe kolumny do ramki danych. Ale w scala, jak mogę dodać nowe wiersze do DataFrame?Jak dodać ramkę danych Spark na dół innej ramki danych?
Próbuję dodać ramkę danych na końcu kolejnej. Pomocne może być więc dodawanie wierszy w scala lub dodawanie DataFrame na końcu kolejnej. Dzięki
Jeśli mają ten sam schemat, wystarczy użyć union iskry 2+:
val dfUnion = df1.union(df2)
Albo unionAll iskry 1+:
val dfUnion = df1.unionAll(df2)
Dzięki za pomoc! To jest to, czego potrzebuję! –
Ponieważ Spark 2.0 "unionAll()" jest oznaczony jako "przestarzały" (@deprecated ("use union()", "2.0.0")) - Odpowiednio zmieniłem twoją odpowiedź. – Boern
Pytanie wydaje się mówić o konkatenacji ("dodaj na dno kolejnej"), a tylko dla przyszłych poszukiwaczy: "union" to nie to samo, co konkatenacja. Nie zapewnia gwarancji dotyczących złożonych danych. – jwd
Czy wyrejestrowany 'unionAll()' funkcjonować? –
Dzięki! union Wszystko działa! –