zapłonowe 2.0.x zrzucić plik CSV z pomocą dataframe zawierającego jedną tablicę typu string

Question

Mam dataframe df który zawiera jedną kolumnę typu tablicy

df.show() wygląda

|ID|ArrayOfString|Age|Gender| 
+--+-------------+---+------+ 
|1 | [A,B,D]  |22 | F | 
|2 | [A,Y]  |42 | M | 
|3 | [X]   |60 | F | 
+--+-------------+---+------+ 

próbuję zrzucić że df w pliku cSV następujące:

val dumpCSV = df.write.csv(path="/home/me/saveDF") 

To nie działa, ponieważ kolumny ArrayOfString. Wystąpił błąd:

CSV data source does not support array string data type

Kod działa, jeśli usunę kolumnę ArrayOfString. Ale muszę zachować ArrayOfString!

Jaki byłby najlepszy sposób zrzucić dataframe csv tym kolumnowej ArrayOfString (ArrayOfString należy dumpingowych jako jednej kolumnie pliku CSV)

Answer 1

Spróbuj:

val stringify = udf((vs: Seq[String]) => s"""[${vs.mkString(",")}]""") 

df.withColumn("ArrayOfString", stringify($"ArrayOfString")).write.csv(...) 

Answer 2

Pyspark realizacja:

W tym przykładzie przed zapisaniem zmień pole column_as_array na column_as_string.

from pyspark.sql.functions import udf 
from pyspark.sql.types import StringType 

def array_to_string(my_list): 
    return '[' + ','.join([str(elem) for elem in my_list]) + ']' 

array_to_string_udf = udf(array_to_string,StringType()) 

df = df.withColumn('column_as_str',array_to_string_udf(d["column_as_array"])) 

Następnie można upuścić starą kolumnę (typ tablicy) przed zapisaniem.

df.drop("column_as_array").write.csv(...) 

Answer 3

CSV nie jest idealnym formatem eksportu, ale jeśli chcesz tylko wzrokowo swoje dane, to będzie działać [Scala]. Szybkie i brudne rozwiązanie.

case class example (id: String, ArrayOfString: String, Age: String, Gender: String) 

df.rdd.map{line => example(line(0).toString, line(1).toString, line(2).toString , line(3).toString) }.toDF.write.csv("/tmp/example.csv")