Zmień wersję miaoop używając iskrownika ec2

Question

Chcę wiedzieć, czy można zmienić wersję miaoopu, gdy klaster jest tworzony przez isk-ec2?

Próbowałem

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster 

potem zalogować się

spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster 

i okazało się wersja 1.0.4 jest Hadoop.

Chcę korzystać z 2.x wersji hadoop, jaki jest najlepszy sposób konfiguracji?

Answer 1

Hadoop 2,0

spark-ec2 skrypt nie obsługuje modyfikując istniejącego klastra, ale można tworzyć nowy klaster Spark z Hadoop 2.

Zobacz ten fragment skryptu --help:

--hadoop-major-version=HADOOP_MAJOR_VERSION 
        Major version of Hadoop (default: 1) 

Na przykład:

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 --hadoop-major-version=2 launch my-spark-cluster 

..will tworzyć ci klastra przy użyciu aktualnej wersji zapłonową i Hadoop 2.

Jeśli używasz Spark v. 1.3.1 lub iskrą v. 1.4.0 i stworzy samodzielny klaster, wtedy dostaniesz Hadoop v. 2.0.0 MR1 (z dystrybucji Cloudera Hadoop Platform 4.2.0) w ten sposób.

Te zastrzeżenia są:

• niektóre funkcje nie są jeszcze obsługiwane w tej wersji Hadoop z powodu błędów - for example there is a problem with using Tachyon,
• choć teoretycznie w Spark 1.4.0 you can create a YARN cluster using spark-ec2 jej nie [ udokumentowane] od czerwca 2015 r. i nasze próby użycia go nie powiodły się,

.. ale mam z powodzeniem użył kilku klastrów Spark 1.2.0 i 1.3.1 stworzonych z Hadoop 2.0.0, używając pewnych funkcji specyficznych dla Hadoop2. (Dla Spark 1.2.0 z kilku poprawek, które mam umieścić w widłach Spark i spark-ec2, ale to już inna historia.)

Hadoop 2,4, 2,6

Jeśli potrzebujesz Hadoop 2.4 lub Hadoop 2.6 to obecnie (od czerwca 2015) zalecam samodzielne tworzenie klastra ręcznie - jest to łatwiejsze niż myślisz.