Jak wyświetlić listę RDD zdefiniowaną w powłoce Spark?

Question

W obu skorupach "iskrzak-skorupa" lub "pyspark", stworzyłem wiele RDD, ale nie mogłem znaleźć żadnego sposobu, dzięki któremu mógłbym wymienić wszystkie dostępne RDD w mojej obecnej sesji Spark Shell?

Answer 1

W Pythonie można po prostu spróbować, aby filtrować według typu globals:

def list_rdds(): 
    from pyspark import RDD 
    return [k for (k, v) in globals().items() if isinstance(v, RDD)] 

list_rdds() 
# [] 

rdd = sc.parallelize([]) 
list_rdds() 
# ['rdd'] 

W Scala REPL powinieneś być w stanie korzystać z $intp.definedTerms/$intp.typeOfTerm w podobny sposób.