Jak liczyć wystąpienia każdej odrębnej wartości w kolumnie?

Question

edf.select("x").distinct.show() pokazuje różne wartości, które są obecne w kolumnie x z edf DataFrame.

Czy istnieje skuteczna metoda pokazująca liczbę wystąpień tych odrębnych wartości w ramce danych? (Liczą się dla każdej odrębnej wartości)

Answer 1

countDistinct jest prawdopodobnie pierwszym wyborem:

import org.apache.spark.sql.functions.countDistinct 

df.agg(countDistinct("some_column")) 

Jeśli prędkość jest ważniejsza niż dokładność można rozważyć approxCountDistinct:

import org.apache.spark.sql.functions.approx_count_distinct 

df.agg(approxCountDistinct("some_column")) 

Aby uzyskać wartości i liczby :

df.groupBy("some_column").count() 

W języku SQL (spark-sql):

SELECT COUNT(DISTINCT some_column) FROM df 

i

SELECT approx_count_distinct(some_column) FROM df 

Answer 2

df.select("some_column").distinct.count