2014-11-02 14 views
6

Chcę uruchomić przykład WordCount.Niewłaściwy słoik podczas uruchamiania zadania Hadoop

W czasie zaćmienia działa poprawnie. W folderze wyjściowym obecny jest plik wyjściowy.

Zrobiłem plik słoik WordCount i chcesz go uruchomić poprzez komendy

hadoop jar WordCount.jar /Projects/input /Projects/output 

daje mi błąd

Not a valid JAR: /Projects/WordCount.jar 

wynikiem hdfs dfs -ls /Projects

Found 3 items 
-rw-r--r-- 1 hduser supergroup 3418 2014-11-02 15:38 /Projects/WordCount.jar 
drwxr-xr-x - hduser supergroup 0 2014-11-02 14:13 /Projects/input 
drwxr-xr-x - hduser supergroup 0 2014-11-02 14:16 /Projects/output 

daje mi takie same błąd na tym również

hadoop jar /Projects/WordCount.jar wordPackage.WordCount /Projects/input /Projects/output 

Not a valid JAR: /Projects/WordCount.jar 

jak rozwiązać ten błąd.

mam uruchomić polecenie tvf daje to wyjście

jar -tvf /home/hduser/Desktop/Files/WordCount.jar 

    60 Sun Nov 02 16:10:10 PKT 2014 META-INF/MANIFEST.MF 
1895 Sun Nov 02 14:02:38 PKT 2014 wordPackage/WordCount.class 
1295 Sun Nov 02 14:02:38 PKT 2014 wordPackage/WordCount.java 
2388 Sun Nov 02 14:02:06 PKT 2014 wordPackage/WordReducer.class 
707 Sun Nov 02 14:02:06 PKT 2014 wordPackage/WordReducer.java 
2203 Sun Nov 02 14:02:08 PKT 2014 wordPackage/WordMapper.class 
713 Sun Nov 02 14:02:06 PKT 2014 wordPackage/WordMapper.java 
16424 Sun Nov 02 13:50:00 PKT 2014 .classpath 
420 Sun Nov 02 13:50:00 PKT 2014 .project 
+0

Chyba brakowało dostarczyć plik MainClass które powinno być coś jak $ bin/Hadoop słoik WordCount.jar org.myorg.WordCount/Projects/input/Projects/output – Satya

+0

Dostarczyłem główną klasę. Mam Edytowane pytanie, które możesz w nim zobaczyć. –

+0

Wersja Hadoop, której używasz do kompilacji i kompilacji słoika, powinna być taka sama jak wersja środowiska, w którym chcesz uruchomić zadanie hadoop (spróbuj komendy: "wersja miaoop"). –

Odpowiedz

7

nie można zachować słoik w HDFS podczas wykonywania samo używając polecenia Hadoop, Jar powinny być dostępne w lokalnej ścieżce

Jeśli jar nie runnable wypróbować następujące (należy określić package.mainclass)

hadoop jar /home/hduser/Desktop/Files/WordCount.jar wordPackage.WordCount /Projects/input /Projects/output 

Jeśli słoik jest runnable mogą być stosowane następujące

hadoop jar /home/hduser/Desktop/Files/WordCount.jar /Projects/input /Projects/output 

Jeśli problem nadal występuje, trzeba odbudować ten słoik (WordCount.jar) w Eclipse ponownie

+1

Tak, słoik nie powinien znajdować się w HDFS. –

-1

I w obliczu tego samego problemu. Ale w moim przypadku to, co zrobiłem, to napisałem kod java odnoszący się do bibliotek hadoop 1.x i próbowałem go wykonać za pomocą 2.x. Początkowo mam ten sam błąd w terminalu. Potem próbowałem nawigować do ścieżki, gdzie miałem plik JAR. Zadziałało.

Może rzeczywiście można spróbować wykonać następujące czynności: (po przejściu do ścieżki pliki jar)

Powiązane problemy