Chcę wybrać kolumnę, która jest równa określonej wartości. Robię to w scala i mam małe kłopoty.Jak sprawdzić równość przy użyciu Iskry Dataframe bez zapytania SQL?
Herezje mój kod
df.select(df("state")==="TX").show()
to zwraca kolumnę stanu z wartości logicznych zamiast tylko TX
Ive również próbował
df.select(df("state")=="TX").show()
ale to nie działa albo.
miałem ten sam problem, a następująca składnia pracował dla mnie:
df.filter(df("state")==="TX").show()
Używam Spark 1.6.
Powinieneś używać where, select jest projekcją, która zwraca dane wyjściowe instrukcji, a więc dlaczego otrzymujesz wartości logiczne. where to filtr, który zachowuje strukturę ramki danych, ale zachowuje tylko dane tam, gdzie działa filtr.
Wzdłuż tej samej linii, choć za dokumentacji, można napisać to w 3 różnych sposobów
// The following are equivalent:
peopleDf.filter($"age" > 15)
peopleDf.where($"age" > 15)
peopleDf($"age" > 15)
Ja tylko starałem df.filter ($ "state" == "TX"), to nie działa. błąd: przeciążony filtr wartości metody z alternatywami: (conditionExpr: String) org.apache.spark.sql.DataFrame
Wydaje się to jednak działać. df.select ("stan"). gdzie (df ("stan") === "TX"). count – Instinct
'df.filter ($" stan "===" TX ")' powinno działać. Trzeba użyć tutaj potrójnej równości, która zwraca kolumnę -> https://spark.apache.org/docs/1.3.0/api/scala/index.html#org.apache.spark.sql.Column –
Istnieje jeszcze jedna prosta opcja typu sql. Spark 1.6 również powinien działać.
df.filter("state = 'TX'")
Jest to nowy sposób określania filtrów podobnych do sql. Aby uzyskać pełną listę obsługiwanych operatorów, sprawdź klasę this.
df.filter($"state" like "T%%") za wzór pasujący
df.filter($"state" === "TX") lub df.filter("state = 'TX'") równości
Aby uzyskać negację, to zrobić ...
df.filter(not(..expression..))
np
df.filter(not($"state" === "TX"))
lub możesz też nie być równy "df.filter ($" stan "! ==" TX ")' – stevevls
Możemy napisać wielokrotność Filtruj/gdzie warunki w Dataframe.
. Na przykład:
table1_df
.filter($"Col_1_name" === "buddy") // check for equal to string
.filter($"Col_2_name" === "A")
.filter(not($"Col_2_name".contains(" .sql"))) // filter a string which is not relevent
.filter("Col_2_name is not null") // no null filter
.take(5).foreach(println)
Pracował nad Spark V2 *
import sqlContext.implicits._
df.filter($"state" === "TX")
jeśli musi być porównywane zmiennej (np var):
import sqlContext.implicits._
df.filter($"state" === var)
nie działa dla mnie w 1.6. Muszę użyć nawiasów w celu podzbioru ramki danych, np. 'df.filter (df [" stan "] ==" TX "). show()' –
Twój sugerowany format nie kompiluje się dla mnie. czy jesteś pewien, że typem Df jest DataFrame? – user3487888
Składnia z nawiasami to PySpark. Ten z nawiasem to Scala – PinoSan