Jak zdobyć liczbę pracowników (executorów) w PySpark?

Question

Potrzebuję użyć tego parametru, więc jak mogę uzyskać liczbę pracowników? Podobnie jak w Scala, mogę zadzwonić pod numer sc.getExecutorMemoryStatus, aby uzyskać dostępną liczbę pracowników. Ale w PySpark wygląda na to, że nie ma żadnego API, aby uzyskać ten numer.

Answer 1

W scala, getExecutorStorageStatus i getExecutorMemoryStatus zarówno zwracają liczbę executorów, w tym sterownik. jak poniżej Przykładowy fragment

/** Method that just returns the current active/registered executors 
     * excluding the driver. 
     * @param sc The spark context to retrieve registered executors. 
     * @return a list of executors each in the form of host:port. 
     */ 
     def currentActiveExecutors(sc: SparkContext): Seq[String] = { 
     val allExecutors = sc.getExecutorMemoryStatus.map(_._1) 
     val driverHost: String = sc.getConf.get("spark.driver.host") 
     allExecutors.filter(! _.split(":")(0).equals(driverHost)).toList 
     } 

But In python api it was not implemented

@DanielDarabos answer potwierdza również.

Jednak nie jestem ekspertem od pyspark. Można spróbować równowartość rzeczą do tego pytona ...

sc.getConf.getInt("spark.executor.instances", 1)