Jak przekonwertować listę do JavaRDD

Question

Wiemy, że w iskrze istnieje metoda rdd.collect, która konwertuje RDD do listy.

List<String> f= rdd.collect(); 
String[] array = f.toArray(new String[f.size()]); 

Próbuję zrobić dokładnie odwrotnie w moim projekcie. Mam ArrayList of String, który chcę przekonwertować na JavaRDD. Szukam tego rozwiązania od jakiegoś czasu, ale nie znalazłem odpowiedzi. Czy ktokolwiek może mi tutaj pomóc?

Answer 1

Szukasz JavaSparkContext.parallelize(List) i podobnych. Jest to podobne do interfejsu API Scala.

Answer 2

List<StructField> fields = new ArrayList<>(); 
fields.add(DataTypes.createStructField("fieldx1", DataTypes.StringType, true)); 
fields.add(DataTypes.createStructField("fieldx2", DataTypes.StringType, true)); 
fields.add(DataTypes.createStructField("fieldx3", DataTypes.LongType, true)); 


List<Row> data = new ArrayList<>(); 
data.add(RowFactory.create("","","")); 
Dataset<Row> rawDataSet = spark.createDataFrame(data, schema).toDF(); 

Answer 3

Istnieją dwa sposoby konwertowania kolekcji na RDD.

1) sc.Parallelize(collection) 
2) sc.makeRDD(collection) 

Obie metody są identyczne, więc możemy użyć dowolnego z nich

Answer 4

Dodawanie Sean Owen i inne rozwiązania

Można użyć JavaSparkContext#parallelizePairs dla List z Tuple

List<Tuple2<Integer, Integer>> pairs = new ArrayList<>(); 
pairs.add(new Tuple2<>(0, 5)); 
pairs.add(new Tuple2<>(1, 3)); 

JavaSparkContext sc = new JavaSparkContext(); 

JavaPairRDD<Integer, Integer> rdd = sc.parallelizePairs(pairs);