Wprowadzono błąd HDFS: `input ': brak takiego pliku lub katalogu

Question

Mam zainstalowany hadoop 2.6.0 i bawię się z nim. Staram się Pseudo-rozproszoną konfigurację i jestem postępując zgodnie z instrukcjami na http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Execution utknąłem na 5. etapie tj kiedy uruchomić komendę

bin/hdfs dfs -put etc/hadoop input 

otrzymuję poniżej błędu.

15/02/02 00:35:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
put: `input': No such file or directory 

Dlaczego pojawia się ten błąd? Jak mogę to rozwiązać?

Answer 1

Otrzymujesz błąd, ponieważ nie ma takiego katalogu określonego w ścieżce. Proszę spojrzeć na my answer to a similar question, która wyjaśnia, w jaki sposób hadoop interpretuje względną ścieżkę.

Upewnij się utworzyć katalogu pierwszego użycia:

bin/hadoop fs -mkdir input 

a następnie spróbuj ponownie wykonać polecenie -put.

Answer 2

Oprócz tego, co Ashrith napisał -p można również dodać, na wszelki wypadek, gdy katalog nie jest jeszcze utworzony.

bin/hadoop fs -mkdir -p /path/to/hdfs/dir 

Mam nadzieję, że to pomoże komuś innemu.

Answer 3

w powyższym pytaniu dwie części:

1. Jego Ów ostrzegawcze seans becuase U musi używać 64bit jeden i Hadoop Native Lib skompilowany w 32 bitowych. To ostrzeżenie, więc nie wpłynie na twój kod.
2. Drugi to błąd, ponieważ nie jest w stanie umieścić pliku wewnątrz folderu wejściowego. U trzeba utworzyć folder Hadoop pomocą polecenia hadoop mkdir:

hadoop fs -mkdir/hadoopinput

LUB [nowa wersja]

HDFS DFS -mkdir/hadoopinput

Teraz możesz umieścić plik w folderze:

hdfs dfs -put/Users/{nazwa użytkownika}/Desktop/file01/hadoopinput

Aby sprawdzić plik jest kopiowany w folderze lub nie użyć następującego polecenia:

HDFS DFS -ls/hadoopinput

Answer 4

rozwiązany: 1. Sprawdź katalog w HDFS HDFS DFS -mkdir/input_file_name 2. Skopiuj dane do hdfs. hadoop fs -put nazwa_pliku.txt/nazwa_pliku_źródłowego/nazwa_pliku_wyjściowego

Answer 5

Występują dwa błędy, pierwszy to natywna biblioteka mufli dla twojej platformy. Dzieje się tak dlatego, że nie zainstalowałeś winoilu hadoop dla twojej wersji Miaoop.Sprawdź tę odpowiedź, aby uzyskać więcej informacji. https://stackoverflow.com/a/46382570/6337190 Drugi błąd to nie taki plik lub katalog. Wynika to z tego, że musisz podać właściwą ścieżkę. Zmień katalog na swojej Hadoop/bin/i poleceniach zapisu

Aby directory

HDFS DFS -mkdir/wejście

Aby umieścić plik w katalogu

HDFS DFS -put/path/to/plik.txt/wejście

Aby sprawdzić plik w katalogu

HDFS DFS -ls/wejściowe

Answer 6

Po prostu wstaw "/" do wejścia, ponieważ jest to katalog.

./bin/hdfs dfs -put etc/hadoop /input 

nadzieję, że to pomaga