Spłaszczanie wierszy w Spark

Question

Robię kilka testów na iskrę za pomocą scala. Zwykle odczytać pliki json, który musi być manipulowany jak w poniższym przykładzie:

test.json:

{"a":1,"b":[2,3]} 

val test = sqlContext.read.json("test.json") 

Jak mogę przekonwertować go na następującym formacie:

{"a":1,"b":2} 
{"a":1,"b":3} 

Answer 1

Można użyć funkcji explode:

scala> import org.apache.spark.sql.functions.explode 
import org.apache.spark.sql.functions.explode 


scala> val test = sqlContext.read.json(sc.parallelize(Seq("""{"a":1,"b":[2,3]}"""))) 
test: org.apache.spark.sql.DataFrame = [a: bigint, b: array<bigint>] 

scala> test.printSchema 
root 
|-- a: long (nullable = true) 
|-- b: array (nullable = true) 
| |-- element: long (containsNull = true) 

scala> val flattened = test.withColumn("b", explode($"b")) 
flattened: org.apache.spark.sql.DataFrame = [a: bigint, b: bigint] 

scala> flattened.printSchema 
root 
|-- a: long (nullable = true) 
|-- b: long (nullable = true) 

scala> flattened.show 
+---+---+ 
| a| b| 
+---+---+ 
| 1| 2| 
| 1| 3| 
+---+---+