Jak przekazać dodatkowe parametry do metod zdefiniowanych przez użytkownika w pyspark dla metody filtra?

Question

Używam iskrę z python i mam ograniczenie filtr następująco:

my_rdd.filter(my_func) 

my_func gdzie jest metoda pisałem filtrować elementy RDD na podstawie własnej logiki. Mam my_func zdefiniowane następująco:

def my_func(my_item): 

{ 
... 
} 

Teraz chcę przejść do innej osobny parametr my_func, oprócz elementu, który idzie do niego. Jak mogę to zrobić? Wiem, że my_item będzie odwoływać się do jednego elementu pochodzącego z my_rdd i jak mogę przekazać mój własny parametr (powiedzmy my_param) jako dodatkowy parametr do my_func?

Answer 1

Korzystanie poniżej składnią lambda i zmodyfikować my_func z dodatkowymi parametrami:

my_rdd.filter(lambda row: my_func(row,extra_parameter))