Jak zastosować funkcję do kolumny w Spark DataFrame?

Question

Załóżmy, że mamy DataFrame Spark

df.getClass 
Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame 

z następującym schematem

df.printSchema 
root 
|-- rawFV: string (nullable = true) 
|-- tk: array (nullable = true) 
| |-- element: string (containsNull = true) 

Zważywszy, że każdy wiersz kolumny tk jest tablicą ciągów, jak napisać funkcję Scala, który będzie zwrócić liczbę elementów w każdym rzędzie?

Answer 1

Nie trzeba napisać funkcję niestandardową, ponieważ jest jedna:

import org.apache.spark.sql.functions.size 

df.select(size($"tk")) 

Jeśli naprawdę chcesz, możesz napisać udf:

import org.apache.spark.sql.functions.udf 

val size_ = udf((xs: Seq[String]) => xs.size) 

lub nawet tworzyć niestandardowe wyrażenie ale naprawdę nie ma na to żadnego znaczenia.

Answer 2

Jednym ze sposobów jest uzyskanie do nich dostępu za pomocą sql jak poniżej.

df.registerTempTable("tab1") 
val df2 = sqlContext.sql("select tk[0], tk[1] from tab1") 

df2.show() 

Aby uzyskać rozmiaru kolumny tablicy,

val df3 = sqlContext.sql("select size(tk) from tab1") 
df3.show() 

Jeśli wersja Spark jest starszy, można użyć HiveContext zamiast Sparka SQL kontekstu.

Chciałbym również spróbować czegoś, co przemierza.