Odmowa uprawnień na hdfs

Jestem nowy na rozpakowany system plików hadoop, wykonałem kompletną instalację pojedynczego węzła hadoop na mojej maszynie.Ale po tym, kiedy mam zamiar przesłać dane do hdfs daje komunikat o błędzie Permission Denied.Odmowa uprawnień na hdfs

Wiadomość z terminalu poleceniem:

[email protected]:/usr/local/hadoop$ hadoop fs -put /usr/local/input-data/ /input 
put: /usr/local/input-data (Permission denied) 

[email protected]:/usr/local/hadoop$

Po użyciu sudo i dodanie hduser do sudouser:

[email protected]:/usr/local/hadoop$ sudo bin/hadoop fs -put /usr/local/input-data/ /inwe 
put: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="":hduser:supergroup:rwxr-xr-x 

[email protected]:/usr/local/hadoop$

Źródło

2012-07-21 Vignesh Prajapati

masz prawa dostępu do katalogu - używasz sudo? –

Tak, po użyciu sudo ,,,, hduser @ ubuntu:/usr/local/hadoop $ sudo bin/hadoop fs -put/usr/local/input-data// inwe put: org.apache.hadoop.security. AccessControlException: Odmowa uprawnień: użytkownik = root, dostęp = WRITE, i-węzeł = "": hduser: supergroup: rwxr-xr-x hduser @ ubuntu:/usr/local/hadoop $ –

W moim przypadku było to spowodowane tym, że próbowałem aby pobrać pliki w lokalizacji w moim systemie plików, gdzie nie mam uprawnień. – optimist

I rozwiązać ten problem tymczasowy wyłączając DFS permission.By dodanie poniżej kod nieruchomości do conf/HDFS-site.xml

<property> 
    <name>dfs.permissions</name> 
    <value>false</value> 
</property>

Źródło

2012-07-22 19:02:32

To jest pierwsza rzecz, którą ustawiłem w nowym klastrze ;-) –

gdzie znajduje się folder 'conf'? –

Folder conf jest konfiguracją namenodu. W moim przypadku używając hadoop zainstalowanego homebrew jednak był w /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hdfs-site.xml –

występują dwa oddzielne problemy tutaj:

[email protected]:/usr/local/hadoop$ hadoop fs -put /usr/local/input-data/ /input put: /usr/local/input-data (Permission denied)

Tutaj, użytkownik hduser nie ma dostępu do lokalnego katalogu /usr/local/input-data. Oznacza to, że twoje lokalne uprawnienia są zbyt restrykcyjne. Powinieneś to zmienić.

[email protected]:/usr/local/hadoop$ sudo bin/hadoop fs -put /usr/local/input-data/ /inwe put: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="":hduser:supergroup:rwxr-xr-x

Tutaj użytkownik root (ponieważ używasz sudo) nie ma dostępu do katalogu HDFS /input. Jak widać: hduser:supergroup:rwxr-xr-x mówi, że tylko hduser ma prawo do zapisu. Hadoop naprawdę nie szanuje użytkownika root jako specjalnego użytkownika.

Aby rozwiązać ten problem, proponuję zmienić uprawnienia na lokalnym danych:

sudo chmod -R og+rx /usr/local/input-data/

Następnie spróbuj ponownie komendy put jak hduser.

Źródło

2012-07-21 18:58:38

copyFromLocal: org.apache.hadoop.security.AccessControlException: Odmowa uprawnień: użytkownik = root, dostęp = WRITE, i-węzeł = "": hdiser: supergroup: rwxr-xr-x Po zmianie uprawnień powyżej wskazanego błędu. –

nie rób 'put' jako' sudo'. Zrób to jako 'hduser'. –

miałem podobną sytuację i tu jest moje podejście, które jest nieco inna:

HADOOP_USER_NAME=hdfs hdfs dfs -put /root/MyHadoop/file1.txt/

Co faktycznie zrobić to czytasz lokalnego pliku zgodnie z lokalnymi uprawnieniami ale podczas umieszczania pliku na HDFS jesteś jak uwierzytelniony użytkownik hdfs. Możesz to zrobić z innym ID (uwaga na rzeczywistą konfigurację schematów autoryzacji, ale zazwyczaj nie jest to przypadek).

Zalety:

uprawnienia są utrzymywane na HDFS.
Nie potrzebujesz sudo.
Nie potrzebujesz właściwie lokalnego użytkownika "hdfs" w ogóle.
Nie musisz niczego kopiować ani zmieniać uprawnień z powodu poprzednich punktów.

Źródło

2013-11-15 13:32:10

Uruchom powłokę jako hduser (od korzenia) i uruchomić polecenie

sudo -u hduser bash 
hadoop fs -put /usr/local/input-data/ /input

[aktualizacja] Należy również pamiętać, że użytkownik hdfs jest bardzo łatwy i posiada wszystkie R/W przywileje.

Źródło

2014-05-06 15:30:22

Nie jest wymagane, aby uruchomić powłokę. 'sudo -u hdfs hadoop fs -chmod 777/hbase' działa również. – 030

Dobra rada, założyłem, że chcesz uruchomić wiele poleceń jako hakser. –

mam rozwiązać ten problem za pomocą następujących kroków

su hdfs 
hadoop fs -put /usr/local/input-data/ /input 
exit

Źródło

2014-10-10 06:24:30

Odmowa uprawnień na hdfs

Odpowiedz

Powiązane problemy