Musisz zbudować Sparka przed uruchomieniem tego błędu programu podczas uruchamiania bin/pyspark

Zacząłem od Sparka.Musisz zbudować Sparka przed uruchomieniem tego błędu programu podczas uruchamiania bin/pyspark

Występuje problem podczas uruchamiania iskry.

Pobrałem od iskier oficjalnej stronie Próbuję QuickStart z tego https://spark.apache.org/docs/0.9.0/quick-start.html

Pobrałem, konfiguracja sparkhome, a kiedy próbowałam działa ./pyspark z katalogu bin otrzymuję ten błąd.

[email protected]:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark 
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory 
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10. 
You need to build Spark before running this program. 
[email protected]:~/Downloads/spark-1.5.0/bin$

Czy ktoś może mi pomóc to rozgryźć?

Źródło

2015-11-09 Soundarya Thiagarajan

Jeśli chcesz korzystać z dystrybucji źródłowej, musisz najpierw zbudować Spark. Możesz znaleźć szczegóły w Building Spark.

W przeciwnym razie po prostu pobrać dystrybucję binarną (wybierz gotowych) od pobrania:

także nie używać nieaktualnych dokumentów. Można użyć najpóźniej:

http://spark.apache.org/docs/latest

lub wersja specyficzny

http://spark.apache.org/docs/1.5.0

Źródło

2015-11-09 08:40:45 zero323

Witam, dziękuję za odpowiedź. Próbowałem go uruchomić. 15/11/09 14:28:03 BŁĄD NettyTransport: nie powiodło się z /192.168.0.109:0, zamknięcie Netty transport 15/11/09 14:28:03 BŁĄD Kontekst Spark: Błąd inicjalizacji SparkContext. java.net.BindException: Nie można powiązać z: /192.168.0.109:0: Usługa "sparkDriver" zakończyła się niepowodzeniem po 16 próbach! py4j.protocol.Py4JJavaError: Wystąpił błąd podczas wywoływania None.org.apache.spark.api.java.JavaSparkContext. : java.net.BindException: Nie można powiązać z: /192.168.0.109:0: Usługa "sparkDriver" nie powiodła się po 16 próbach! –

Ściągnąłem iskry-1.5.0-bin-hadoop2.4/bin –

Co w pliku conf/spark-env.sh? Czy próbowałeś najpierw otworzyć iskrzącą skorupę? (bin/spark-shell) – AkhlD

Pobierz wersję pre-build iskry jak zero323 sugerowane. Ponadto, nie jest dobrą praktyką uruchamianie iskry w trybie sudo.

Źródło

2015-11-09 09:02:45 AkhlD

Witam, próbowałem pobierania zgodnie z sugestią: spark-1.5.0-bin-hadoop2.4 (wersja prebuild) .. ale nadal jestem zatrzymany z błędami .. Serwer OpenJDK 64-bitowy ostrzeżenie VM: INFO: os :: commit_memory (0x00000007d5500000, 716177408, 0) nie powiodło się; error = 'Nie można przydzielić pamięci' (errno = 12) # Brak pamięci dla środowiska Java Runtime Environment, aby kontynuować. # Natywna alokacja pamięci (malloc) nie przydzieliła 716177408 bajtów do zatwierdzenia zarezerwowanej pamięci. # Plik raportu o błędzie z większą ilością informacji jest zapisywany jako: #/home/soundarya/Downloads/spark-1.5.0/hs_err_pid18440.log –

Ile pamięci masz na swoim komputerze? Jest to błąd sterty JVM i nie ma nic wspólnego z iskrą. Możesz spróbować ustawić spark.driver.memory i spark.executor.memory w pliku conf/spark-defaults.conf. Lub po prostu wyeksportuj _JAVA_OPTIONS = -Xmx1g ze swojego terminala. – AkhlD

Zrobiłem eksport _JAVA_OPTIONS = -Xmx1g; Odebrano _JAVA_OPTIONS: -Xmx1g Podnieś Wyjątek ("Proces bramy Java zakończył się przed wysłaniem sterownika numeru portu") Wyjątek: Proces bramy Java zakończył się przed wysłaniem sterownika jego numeru portu >>> # Brak pamięci dla Java Runtime Environment, aby kontynuować. –

Musisz zbudować Sparka przed uruchomieniem tego błędu programu podczas uruchamiania bin/pyspark

Odpowiedz

Powiązane problemy