Jestem całkowicie nowy w hadoopie i właśnie skończyłem instalację, która zajęła mi 2 dni ... Próbuję teraz z komendą hadoop dfs, ale po prostu nie mogłem tego zrozumieć, chociaż przeglądałem przez kilka dni , nie mogłem znaleźć odpowiedzi na to, co chcę wiedzieć. Wszystkie przykłady pokazują, jaki powinien być wynik, bez wyjaśnienia jego rzeczywistej struktury, więc będę szczęśliwy, jeśli ktoś może mi pomóc w zrozumieniu hooh hadoop.Gdzie są przechowywane moje pliki (dir), gdy użyłem hadoop fs -mkdir?
Utworzyłem katalog na HDFS.
bin/hadoop fs -mkdir input
OK, sprawdzę to za pomocą polecenia ls.
bin/hadoop fs -ls
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2012-07-30 11:08 input
OK, nie ma problemu, wszystko wydaje się idealne .. ALE gdzie faktycznie przechowywane są dane HDFS? Myślałem, że będzie przechowywać w moim katalogu datanode (/ home/hadoop/datastore), który został zdefiniowany w core-site.xml pod hadoop.tmp.dir, ale go tam nie ma ..
Potem próbowałem przeglądać za pomocą WEB-UI i stwierdziłem, że "input" zostało utworzone w "/ user/hadoop /" (/ user/hadoop/input).
Moje pytania są
- (1) Jakie są katalogiem datanode (hadoop.tmp.dir) używany do, ponieważ robi to wszystko zapisać i przetwarzane przez komendę DFS?
- (2) Wszystko, co zostało utworzone za pomocą polecenia dfs, przechodzi do/user/XXX /, jak zmienić jego wartość?
- (3) Nie widzę niczego, gdy próbuję uzyskać dostęp za pomocą zwykłego polecenia systemu Linux (ls/user/hadoop). Czy/user/hadoop istnieje logicznie?
Przepraszam, jeśli moje pytania są głupie .. początkującym stara się zrozumieć Hadoop lepsze ..
Z góry dziękuję.