Pierwszy błąd projekt Hadoop: „ścieżka wejścia nie istnieje”

Aby skonfigurować prosty projekt Hadoop Obserwuję ten tutorial: http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html Pierwszy błąd projekt Hadoop: „ścieżka wejścia nie istnieje”

Moja Hadoop pojedynczy węzeł wydaje się być poprawnie uruchomiony.

Kiedy określić folder In przy użyciu tego kodu:

FileInputFormat.setInputPaths(conf, new Path("In"));

otrzymuję ten błąd:

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

Obecnie folder In jest tworzony na C:\homedir\hadoop-1.0.4\In

Gdzie muszę utwórz folder "In", aby pojawił się w hdfs://localhost:9100/user/DEVUSER/In? Czy muszę zaktualizować plik xml, aby wskazywał na folder w moim lokalnym systemie plików?

Źródło

2013-03-03 blue-sky

Musisz przesłać swoje pliki wejściowe do pierwszego systemu plików HDFS:

bin/hadoop fs -mkdir In

stworzy katalog o nazwie /user/DEVUSER/In w HDFS.

bin/hadoop fs -put *.txt In

skopiuje wszystkie *.txt pliki z bieżącego katalogu do klastra (HDFS).

Wygląda na to, że pominąłeś rozdział Upload data z samouczka. Postępuj zgodnie z nim, a twój problem powinien zostać rozwiązany.

Źródło

2013-03-03 22:58:26 harpun

droga gdzie te pliki są fizycznie przechowywane w systemie plików? więc mogę usunąć katalog wyjściowy? –

Masz na myśli pliki przechowywane w HDFS? HDFS to rozproszony system plików. Pliki są więc przechowywane na wielu hostach. Nie można uzyskać bezpośredniego dostępu do plików fizycznych ani ich modyfikować. Musisz użyć poleceń HDFS, aby je usunąć. Zadaj pytanie jako nowe pytanie i podaj wystarczająco dużo szczegółów. – harpun

Mam odpowiedź od twoich informacji, że musimy zmodyfikować katalog HDFS za pomocą poleceń, dzięki za informacje –

Jeśli nie chcesz przesyłać pliku do hdfs, a chcesz uzyskać do niego dostęp z lokalnego systemu, spróbuj ustawić ścieżkę wejściową w ten sposób.

FileInputFormat.setInputPaths(conf, new Path("file://path of the In Folder on your File system "));

Źródło

2013-04-17 09:58:37

jak harpun powiedział, ale dla niektórych sytuacjach nawet próbowano utworzyć ten katalog pod HDFS, to przyzwyczajenie i daje taką wiadomość: mkdir: `W ': Nie ma takiego pliku lub katalogu jako rozwiązanie, które trzeba:

bin/hadoop fs -mkdir /tmp/In

i skopiuj pliki tekstów HDFS Klastra

bin/hadoop fs -put *.txt /tmp/In

Źródło

2014-05-23 13:27:38

Pierwszy błąd projekt Hadoop: „ścieżka wejścia nie istnieje”

Odpowiedz

Powiązane problemy