Nie można uruchomić Apache Spark w systemie Windows przy użyciu Cygwin

Question

Przykro mi, jeśli to zbyt trywialne, ale jestem nowy dla Sparka. Zbudowałem Apache Spark na Windowsie z kodu używając Mavena. Użyłem Cygwin do zbudowania i działało dobrze. Teraz nie mogę uruchomić go za pomocą polecenia (./startmaster.sh) z katalogu sbin.

otrzymuję poniższy błąd: nie uruchomi org.apache.spark.deploy.master.Master:

Error: Could not find or load main class org.apache.spark.launcher.Main 
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host 

Rozumiem, że szuka Iskra-launcher_2.10-1.5.1. jar w ścieżce klas, ale nie jestem w stanie zidentyfikować w skrypcie, gdzie definiuje ścieżkę klasy lub katalog lib.

Answer 1

Można wykonać Building a Runnable Distribution kroki Gimby wspomniano, jak to na przykład:

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn 

---

Jak wspomniano Patrick McGloin, można również założyć klaster zapłonowej samego systemu Windows, jak to na przykład:

spark-class.cmd org.apache.spark.deploy.master.Master 
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077 

można przeczytać więcej w Spark Standalone Mode i How to set up Spark cluster on Windows machines?

---

W końcu, jak wspomniał OP, był w stanie zbudować działającą dystrybucję, która utworzyła nowy plik tar z niestandardową iskrą w katalogu nadrzędnym. (S) wziął ten plik, rozpakował go w innym katalogu, poszedł do podkatalogu bin, a następnie był w stanie przywołać powłokę scala.