Apache Spark: Jak przekonwertować urządzenie Spark DataFrame na RDD z typem RDD [(Type1, Type2, ...)]?

Question

Na przykład załóżmy, że mam DataFrame:

var myDF = sc.parallelize(Seq(("one",1),("two",2),("three",3))).toDF("a", "b") 

mogę przekonwertować go do RDD[(String, Int)] z mapą:

var myRDD = myDF.map(r => (r(0).asInstanceOf[String], r(1).asInstanceOf[Int])) 

Czy istnieje lepszy sposób to zrobić, być może przy użyciu schematu DF ?

Answer 1

Korzystanie dopasowywania wzorców nad :

import org.apache.spark.sql.Row 

myDF.map{case Row(a: String, b: Int) => (a, b)} 

W Spark 1.6 + można użyć Dataset następująco:

myDF.as[(String, Int)].rdd