błąd podczas uruchamiania powłoki zapłonową

Właśnie ściągnąłem najnowszą wersję iskry i kiedy zacząłem skorupę zapłonową mam następujący błąd:błąd podczas uruchamiania powłoki zapłonową

java.net.BindException: Failed to bind to: /192.168.1.254:0: Service 'sparkDriver' failed after 16 retries! 
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:393) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:389) 

... 
... 

java.lang.NullPointerException 
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:193) 
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:71) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 
    at java.lang.reflect.Constructor.newInstance(Constructor.java:525) 
    at org.apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1028) 
    at $iwC$$iwC.<init>(<console>:9) 
... 
... 
<console>:10: error: not found: value sqlContext 
     import sqlContext.implicits._ 
      ^
<console>:10: error: not found: value sqlContext 
     import sqlContext.sql 
      ^

Czy jest coś, czego brakowało w tworzeniu iskrę?

Źródło

2015-07-05 JRR

Uruchamiając "spark-shell", tworzy katalog \ tmp \ ula pod C :, miał ten sam problem \ błąd i okazało się, że jest problem z uprawnieniami do tego folderu. Po prostu przenieś go pod% HADOOP_HOME% \ bin i zrestartuj cmd jako administrator. To zadziałało jak urok dla mnie po przejściu przez jakąkolwiek możliwą poprawkę zalecaną na przepełnieniu stosu. – paranza

Zobacz SPARK-8162.

Wygląda na to, że ma wpływ tylko na wersje 1.4.1 i 1.5.0 - prawdopodobnie najlepiej jest uruchomić najnowszą wersję (1.4.0 w momencie pisania).

Źródło

2015-07-06 16:36:46 dpeacock

Próbowałem już wstępnie przygotowane wersje 1.4.0, 1.3.1 i 1.3.0 i wszystkie mają ten sam błąd. Używam Java 7 na osx. – JRR

Spróbuj ustawić zmienną Spark env SPARK_LOCAL_IP na lokalny adres IP.

W moim przypadku uruchomiłem Spark na instancji Amazon EC2 Linux. spark-shell przestał działać, z komunikatem o błędzie podobnym do twojego. Udało mi się to naprawić, dodając takie ustawienia jak plik konfiguracyjny Spark spark-env.conf.

export SPARK_LOCAL_IP=172.30.43.105

można również ustawić go w ~/.profile lub ~/.bashrc.

Należy również sprawdzić ustawienia hosta w /etc/hosts

Źródło

2015-08-04 06:01:06 rake

byłem przeżywa ten sam problem. Pierwszy raz do .bashrc i umieścić

export SPARK_LOCAL_IP=172.30.43.105

następnie goto

cd $HADOOP_HOME/bin

następnie uruchom następujące polecenie

hdfs dfsadmin -safemode leave

To właśnie przełącza SafeMode z namenode off.

Następnie usuń folder metastore_db z katalogu domowego iskry lub/bin. Zazwyczaj będzie to folder, z którego generalnie rozpoczyna się sesję iskry.

potem wpadłem mój zapłonie powłokę za pomocą tego

spark-shell --master "spark://localhost:7077"

i voila I didnot pojawia się błąd sqlContext.implicits._.

Źródło

2016-04-09 18:54:03

błąd podczas uruchamiania powłoki zapłonową

Odpowiedz

Powiązane problemy