jak wyeksportować ramkę danych tabeli w pyspark do pliku CSV?

Question

Używam spark-1.3.1 (pyspark) i wygenerowałem tabelę za pomocą zapytania SQL. Mam teraz obiekt, który jest DataFrame. Chcę wyeksportować ten obiekt DataFrame (nazwałem go "table") do pliku csv, aby móc nim manipulować i narysować kolumny. Jak wyeksportować "tabelę" DataFrame do pliku csv?

Dzięki!

Answer 1

Jeśli ramka danych zmieści się w pamięci sterownika i chcesz zapisać się do lokalnego systemu plików można przekonwertować Spark DataFrame lokalnym Pandas DataFrame użyciu toPandas metodę, a następnie po prostu użyć to_csv:

df.toPandas().to_csv('mycsv.csv') 

W przeciwnym wypadku można użyć spark-csv:

• zapłonowa 1,3

  df.save('mycsv.csv', 'com.databricks.spark.csv') 
  

• Spark 1.4+

  df.write.format('com.databricks.spark.csv').save('mycsv.csv') 
  

W Spark 2.0+ można używać csv źródło danych bezpośrednio:

df.write.csv('mycsv.csv') 

Answer 2

Jeśli nie można skorzystać z zapłonem CSV, można wykonać następujące czynności:

df.rdd.map(lambda x: ",".join(map(str, x))).coalesce(1).saveAsTextFile("file.csv") 

Jeśli potrzebujesz obsługi łańcuchów z linebreaks lub przecinek, które nie będą działać. Użyj tego:

import csv 
import cStringIO 

def row2csv(row): 
    buffer = cStringIO.StringIO() 
    writer = csv.writer(buffer) 
    writer.writerow([str(s).encode("utf-8") for s in row]) 
    buffer.seek(0) 
    return buffer.read().strip() 

df.rdd.map(row2csv).coalesce(1).saveAsTextFile("file.csv") 

Answer 3

Co powiesz na to (jeśli nie chcesz jednej linijki)?

for row in df.collect(): 
    d = row.asDict() 
    s = "%d\t%s\t%s\n" % (d["int_column"], d["string_column"], d["string_column"]) 
    f.write(s) 

f jest otwartym deskryptorem pliku. Również separator jest znakiem TAB, ale łatwo można go zmienić na cokolwiek zechcesz.

Answer 4

Dla Apache Spark 2+, w celu zapisania ramek danych w pojedynczym pliku csv. Użyj następującego polecenia

query.repartition(1).write.csv("cc_out.csv", sep='|') 

Tutaj 1 wskazują, że muszę tylko jedną partycję z pliku CSV. możesz go zmienić zgodnie z własnymi wymaganiami.