Jak uzyskać wiersze z DF, które zawierają wartość None w pyspark (iskry)

Question

W poniższym przykładzie df.a == 1 predykat zwraca poprawny wynik ale df.a == None zwraca 0 gdy powinna powrócić 1.

l = [[1], [1], [2], [2], [None]] 
df = sc.parallelize(l).toDF(['a']) 
df # DataFrame[a: bigint] 
df.collect() # [Row(a=1), Row(a=1), Row(a=2), Row(a=2), Row(a=None)] 
df.where(df.a == 1).count() # 2L 
df.where(df.a == None).count() # 0L 

Korzystanie iskra 1.3.1

Answer 1

Column.isNull można użyć metody:

df.where(df.a.isNull()).count() 

na marginesie to zachowanie jest tym, co można oczekiwać od normal SQL query. Ponieważ NULL oznacza "brakujące informacje i nie dotyczy informacji" [1] nie ma sensu pytać, czy coś jest równa NULL. Po prostu bądź IS lub IS NOT brakuje \

Scala API zapewnia specjalne Null-safe równości <=> operatora jest więc możliwe, aby zrobić coś takiego:.

df.where($"a" <=> lit(null)) 

ale nie wygląda jak dobry pomysł Jeśli mnie pytasz.

1. Wikipedia, Null (SQL)