Wyświetlanie zawartości kolumny Dataframe Spark

Question

Używam Spark 1.3.1.

Próbuję wyświetlić wartości kolumny słupka danych Spark w języku Python. Dzięki ramce danych Spark mogę wykonać df.collect(), aby wyświetlić zawartość ramki danych, ale nie ma takiej metody dla kolumny danych szarego Sparka, jak najlepiej widać. Na przykład ramka danych df zawiera na przykład kolumnę o nazwie 'zip_code'. Więc mogę zrobić df['zip_code'] i zmienia się w typ pyspark.sql.dataframe.Column, ale nie mogę znaleźć sposobu, aby wyświetlić wartości w df['zip_code'].

Answer 1

Można uzyskać dostęp do bazowego RDD i mapę nad nim

df.rdd.map(lambda r: r.zip_code).collect() 

Można również użyć select jeśli nie przeszkadza wyniki zapakowane stosując obiekty:

df.select('zip_code').collect() 

Wreszcie, jeśli chcesz po prostu w celu sprawdzenia zawartości wystarczy metoda:

df.select('zip_code').show() 

Answer 2

Aby wyświetlić pełną zawartość:

df.select("raw").take(1).foreach(println) 

(show pokaże przegląd).