6
ja konfigurowania Spark 0.9 na AWS i jestem stwierdzenia, że przy uruchamianiu interaktywną Pyspark skorupę, moi wykonawcy/zdalne pracownicy uprzedniego zarejestrowany:Spark - Zdalne Akka Client Oddzielone
14/07/08 22:48:05 INFO cluster.SparkDeploySchedulerBackend: Registered executor:
Actor[akka.tcp://[email protected]:54110/user/
Executor#-862786598] with ID 0
a następnie odciął niemal natychmiast , zanim będę mógł uruchomić cokolwiek:
14/07/08 22:48:05 INFO cluster.SparkDeploySchedulerBackend: Executor 0 disconnected,
so removing it
14/07/08 22:48:05 ERROR scheduler.TaskSchedulerImpl: Lost an executor 0 (already
removed): remote Akka client disassociated
Czy masz pojęcie, co może być nie tak? Próbowałem dostosować opcje JVM spark.akka.frameSize i spark.akka.timeout, ale jestem prawie pewien, że to nie jest problem, ponieważ (1) nic nie zaczynam od początku i (2) mój Executory odłączają się kilka sekund po starcie, co mieści się w domyślnym limicie czasu wynoszącym 100s.
Dzięki!
Jack
Gdzie uruchamiasz powłokę? Spróbuj uruchomić go na węźle głównym w AWS, aby się upewnić, że nie jest to problem z konfiguracją sieci. Spróbuj także 'bin/spark-shell', aby wyeliminować Pythona jako przyczynę. –
Już robię pierwszy, a powłoka Scala zwraca ten sam błąd. – Jack
Czy jest jakiś ślad w dziennikach pracownika lub executora? Lub na 'http: //: 4040/executors /? (Tak, w zasadzie nie mam pojęcia, przepraszam!) –