Jak zbudować Spark ze źródeł ze strony Download Spark?

Question

Próbowałem zainstalować i zbudować Spark 2.0.0 na Ubuntu VM z Ubuntu 16.04, co następuje:

1. Instalacja Java

   sudo apt-add-repository ppa:webupd8team/java 
   sudo apt-get update  
   sudo apt-get install oracle-java8-installer 
   

2. Install Scala

   pójść do ich ściągnięcia na karcie ich strona: scala-lang.org/download/all.html

   Użyłem Scala 2.11.8.

   sudo mkdir /usr/local/src/scala 
   sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/ 
   

   Modyfikowanie pliku .bashrc i zawierać ścieżkę do Scala:

   export SCALA_HOME=/usr/local/src/scala/scala-2.11.8 
   export PATH=$SCALA_HOME/bin:$PATH 
   

   następnie wpisz:

   . .bashrc 
   

3. Instalacja git

   sudo apt-get install git 
   

4. Pobierz oprogr OAD i budować iskra

   Przejdź do: http://spark.apache.org/downloads.html

   Pobierz Spark 2.0.0 (Build od źródła - do trybie autonomicznym).

   tar -xvf spark-2.0.0.tgz 
   cd into the Spark folder (that has been extracted). 
   

   teraz wpisać:

   ./build/sbt assembly 
   

   po jego zakończeniu instalacji, pojawia się komunikat:

   [success] Total time: 1940 s, completed...

   następnie według daty i czasu ...

5. Run shell Spark

   bin/spark-shell 
   

To wtedy rozpęta się piekło i zaczynam dostrzegać błąd. Przechodzę do folderu złożenia, aby znaleźć folder o nazwie target. Ale nie ma tam takiego folderu. Jedyne rzeczy widoczne podczas montażu to: pom.xml, README i src.

Sprawdziłem to online przez dłuższy czas i nie byłem w stanie znaleźć konkretnego rozwiązania, które pomogłoby rozwiązać problem. Czy ktoś może podać szczegółowe instrukcje krok po kroku, jak rozwiązać ten problem?!? To doprowadza mnie do szału teraz ... (TT)

Zrzut ekranu z błędem:

Answer 1

Z jakiegoś powodu, Scala 2.11.8 nie działa dobrze podczas budowy, ale jeśli przełączenie do Scala 2.10.6 to wtedy buduje się prawidłowo. Myślę, że powodem, dla którego potrzebowałbym Scala w pierwszej kolejności, jest uzyskanie dostępu do sbt, aby móc zbudować iskrę.Po jego zbudowany, muszę kierować się do folderu zapłonowej i typ:

build/sbt package 

To zbuduje brakujące pliki JAR do mnie używając Scala 2.11 ... trochę dziwne, ale to w jaki sposób jego pracy (jestem zakładając przez patrząc na logi).

Po zbudowaniu iskry, wpisz: bin/spark-shell (będąc w folderze iskry), a otrzymasz dostęp do iskrzaka.

Answer 2

wpisz pakiet sbt w katalog iskrowy nie w katalogu kompilacji.

Answer 3

Jeśli twoim celem jest naprawdę zbudować swój własny pakiet Spark od źródeł pobranych od http://spark.apache.org/downloads.html, należy wykonać następujące czynności zamiast:

./build/mvn -Phadoop-2.7,yarn,mesos,hive,hive-thriftserver -DskipTests clean install 

Możesz przeczytać oficjalny dokument Building Spark .

NB Nie musisz instalować pakietów Scala i git, aby zbudować Spark, więc możesz pominąć kroki "2. Zainstaluj Scala" i "3. Zainstaluj git".