Poniżej znajduje się mój iskrowy skrypt sql, który ładuje plik i używa na nim kodu SQL, chcę zebrać dane wyjściowe z kwerendy sql i zapisać je w pliku, nie wiem, jak komukolwiek pomóc.jak zebrać wynik iskry sql do pliku?
//import classes for sql
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD.
import sqlContext.createSchemaRDD
//hdfs paths
val warehouse="hdfs://quickstart.cloudera/user/hive/warehouse/"
val customers_path=warehouse+"people/people.txt"
customers_path
//create rdd file called file
val file=sc.textFile(customers_path)
val schemaString="name age"
import org.apache.spark.sql._
val schema =
StructType(
schemaString.split(",").map(fieldName => StructField(fieldName, StringType, true)))
val rowRDD=file.map(_.split(",")).map(p => Row(p(0),p(1).trim))
val peopleSchemRDD=sqlContext.applySchema(rowRDD, schema)
// Register the SchemaRDD as a table.
peopleSchemRDD.registerTempTable("people")
// SQL statements can be run by using the sql methods provided by sqlContext.
sqlContext.sql("select count(*) from people").collect().foreach(println)
System.exit(0)
W kodzie podałeś wynik zapytanie to po prostu liczba, prawda? Pytasz, jak napisać numer do pliku w Scali? –
Tak, chcę, aby liczba lub dane wyjściowe zostały zapisane w pliku, czy jest sposób na zrobienie tego? –
val op = sqlContext.sql ("wybierz liczbę (*) od ludzi") val c = op.collect() val rdd = sc.parallelize (c) rdd.saveAsTextFile ("/ home/cloudera/op") System.exit (0) –