Używam MLlib Apache-Spark i Scala. Trzeba przekonwertować grupę wektoraKonwersja RDD wektora w LabeledPoint za pomocą Scala - MLLib w Apache Spark
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.regression.LabeledPoint
w LabeledPoint w celu zastosowania algorytmów MLLib
Każdy wektor składa się z podwójnego wartości 0,0 (fałsz) lub 1.0 (true). Wszystkie wektory są zapisywane w RDD, więc ostateczna RDD jest typu
val data_tmp: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector]
Więc w RDD są wektory tworzyć z
def createArray(values: List[String]) : Vector =
{
var arr : Array[Double] = new Array[Double](tags_table.size)
tags_table.foreach(x => arr(x._2) = if (values.contains(x._1)) 1.0 else 0.0)
val dv: Vector = Vectors.dense(arr)
return dv
}
/*each element of result is a List[String]*/
val data_tmp=result.map(x=> createArray(x._2))
val data: RowMatrix = new RowMatrix(data_tmp)
Jak mogę stworzyć z tego RDD (data_tmp) lub z zestawu RowMatrix (data) a LabeledPoint zestaw do korzystania z algorytmów MLLib? Na przykład muszę zastosować SVMs alghoritms liniowe pokazują here