BŁĄD Kontekst Spark: Błąd podczas inicjowania SparkContext

Question

Używam spark-1.5.0-cdh5.6.0. Próbowaliśmy przykładowej aplikacji (scala) Komenda jest:

> spark-submit --class com.cloudera.spark.simbox.sparksimbox.WordCount --master local /home/hadoop/work/testspark.jar 

uzyskałem następujący błąd:

ERROR SparkContext: Error initializing SparkContext. 
java.io.FileNotFoundException: File file:/user/spark/applicationHistory does not exist 
     at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:534) 
     at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747) 
     at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524) 
     at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:424) 
     at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:100) 
     at org.apache.spark.SparkContext.<init>(SparkContext.scala:541) 
     at com.cloudera.spark.simbox.sparksimbox.WordCount$.main(WordCount.scala:12) 
     at com.cloudera.spark.simbox.sparksimbox.WordCount.main(WordCount.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

Answer 1

Spark posiada funkcję o nazwie „serwer historia”, która umożliwia przeglądanie wydarzeń historycznych po SparkContext matryc . Ta właściwość jest ustawiana za pomocą ustawienia spark.eventLog.enabled na true.

Dostępne są dwie opcje: określ poprawny katalog do zapisania dziennika zdarzeń za pomocą wartości konfiguracyjnej spark.eventLog.dir lub po prostu ustaw spark.eventLog.enabled na false, jeśli nie jest to potrzebne.

Możesz przeczytać więcej na ten temat na stronie Spark Configuration.