Spark DataFrame i zmiana nazwy wielu kolumn (Java)

Question

Czy istnieje lepszy sposób na prefiks lub zmianę nazwy wszystkich lub wielu kolumn w tym samym czasie danego SparkSQL DataFrame niż wywołanie wiele razy dataFrame.withColumnRenamed()?

Przykładem może być, jeśli chcę wykryć zmiany (używając pełnego sprzężenia zewnętrznego). Zostałem mi z dwoma DataFrame s o tej samej strukturze.

Answer 1

Proponuję użyć metody select(), aby to wykonać. W rzeczywistości metodaColumnRenamed() sama używa metody select(). Oto przykład, jak nazwy wielu kolumn:

import org.apache.spark.sql.functions._ 

val someDataframe: DataFrame = ... 

val initialColumnNames = Seq("a", "b", "c") 
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name")) 
someDataframe.select(renamedColumns : _*) 

Answer 2

I heve prostu znaleźć odpowiedź

df1_r = df1.select(*(col(x).alias(x + '_df1') for x in df1.columns)) 

na stackoverflow here (patrz koniec przyjętego odpowiedź)

Answer 3

Chociaż to nie jest odpowiedź na swoje pytanie bezpośrednio, ale zawsze aktualizuję nazwy kolumn jeden po drugim. Ponieważ aktualizuje tylko metadane DF, nie ma nic złego (nie ma wpływ na wydajność) na aktualizowanie nazwy kolumn, jeden po drugim, np .:

for c in DF.columns: 
    new_c = c.strip().replace(' ','_') 
    DF = DF.withColumnRenamed(c, new_c) 

Answer 4

or (a <- 0 to newsales.columns.length - 1) 
{ 
var new_c = newsales.columns(a).replace('(','_').replace(')',' ').trim 
newsales_var = newsales.withColumnRenamed(newsales.columns(a),new_c) 
}