Funkcje z pakietów Pythona dla udf() karty danych Spark

Question

Dla ramki danych Spark za pomocą pyspark, możemy użyć pyspark.sql.functions.udf, aby utworzyć user defined function (UDF).

Zastanawiam się, czy mogę użyć dowolnej funkcji z pakietów Python w udf(), np. np.random.normal z numpy?

Answer 1

Zakładając chcesz dodać kolumnę o nazwie new do DataFrame df skonstruowanego przez wywołanie wielokrotnie numpy.random.normal, można zrobić:

import numpy 
from pyspark.sql.functions import UserDefinedFunction 
from pyspark.sql.types import DoubleType 

udf = UserDefinedFunction(numpy.random.normal, DoubleType()) 

df_with_new_column = df.withColumn('new', udf())