Identyfikator uruchomienia aplikacji dla zadania Spark

Question

Chciałbym, z miejsca, w którym prowadzę pracę Sparka, aby uzyskać unikalny identyfikator tej pracy.

Za pośrednictwem witryny węzła głównego Sparka widzę ten identyfikator. To jest coś takiego:

ID: app-20140429125304-0452 

Czy jest jakiś sposób, aby to uzyskać, podczas tworzenia pracy? Może za pośrednictwem SparkContext?

Answer 1

tak, dokładnie tak, jak powiedział:

sc.applicationId 
res0: String = app-20150224184813-11531 

(To jest iskra 1,2)

Zobacz API doc na

• https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

Answer 2

dla osób korzystających pyspark, zobacz to prawie identyczne pytanie: How to extract application ID from the PySpark context

Odpowiedź z @vvladymyrov pracowała dla mnie z uruchomieniem pyspark w trybie klient-klient.

>>> sc._jsc.sc().applicationId() 
u'application_1433865536131_34483' 

Answer 3

Dzięki wprowadzeniu spark: org.apache.spark.sql.SparkSession od Spark 2.0+ sprawie stosowania

scala> spark.sparkContext.applicationId 
res1: String = app-20170228091742-0025 

Answer 4

To zależy jakiego języka używasz.

Scala

https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

sc.applicationId 

Java

https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/api/java/JavaSparkContext.html

sparkContext.sc().applicationId(); 

Python

http://spark.apache.org/docs/1.6.2/api/python/pyspark.html#pyspark.SparkContext

sc.applicationId 

może również zależeć od wersji Spark.