Jaki jest najlepszy sposób na uruchomienie i zatrzymanie ekosystemu hadoop, z wiersza poleceń?

Question

widzę istnieje kilka sposobów, możemy zacząć Hadoop ekosystem,

1. start-all.sh & stop-all.sh Które mówią, że to przestarzałe użycie start-dfs.sh & start-yarn.sh.

2. start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh

3. hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager

EDIT: Myślę, że musi być jakieś szczególne przypadki użycia dla każdego polecenia.

Answer 1

start-all.sh & stop-all.sh: Służy do uruchamiania i zatrzymywania demonów hadoop wszystkich na raz. Wydanie go na komputerze głównym spowoduje uruchomienie/zatrzymanie demonów we wszystkich węzłach klastra. Przestarzałe, jak już zauważyłeś.

start-dfs.sh, stop-dfs.sh i start-yarn.sh, stop-yarn.sh: samo jak powyżej, ale start/stop HDFS i przędzy demonów osobno na wszystkich węzłach z urządzenia nadrzędnego . Wskazane jest, aby używać tych poleceń obecnie ponad start-all.sh & stop-all.sh

hadoop-daemon.sh namenode/datanode i yarn-deamon.sh ResourceManager: Aby uruchomić poszczególne demony na indywidualnym komputerze ręcznie. Musisz przejść do określonego węzła i wydać te polecenia.

przypadków użycia: Załóżmy, że został dodany nowy DN do klastra i trzeba uruchomić demona DN tylko na tym komputerze,

bin/hadoop-daemon.sh start datanode 

Uwaga: powinno mieć włączony ssh, jeśli chcesz uruchom wszystkie demony na wszystkich węzłach z jednego komputera.

Mam nadzieję, że to odpowiada na twoje zapytanie.

Answer 2

Od Hadoop page,

start-all.sh 

To zaowocują Namenode, Datanode, Jobtracker i Tasktracker na komputerze.

start-dfs.sh 

Spowoduje to wyświetlenie HDFS z Namenode uruchomionym na komputerze, na którym uruchomiono komendę. Na takiej maszyny będzie trzeba start-mapred.sh osobno rozpocząć trackera przydzielonego stanowiska

start-all.sh/stop-all.sh musi być uruchomiony na węźle głównego

byłoby użyć start-all.sh na pojedynczego węzła klastra (czyli gdzie miałaby wszystkie usługi w tym samym węźle. Nodeen jest także datanodem i jest węzłem głównym).

W wielowęzłowych konfiguracji,

Będziesz korzystać start-all.sh na węźle głównym i ruszy, co jest niezbędne na niewolników, jak również.

Alternatywnie

Zastosowanie start-dfs.sh na węźle chcesz Namenode biec dalej. Spowoduje to wywołanie HDFS z Namenode uruchomionym na komputerze, na którym uruchomiono komendę i Datanodes na komputerach wymienionych w pliku podrzędnym.

Użyj start-mapred.sh na komputerze, na którym chcesz uruchomić Jobtracker. Spowoduje to wyświetlenie klastra Map/Reduce z Jobtrackerem uruchomionym na komputerze, na którym uruchomiono komendę, i Tasktrackers działającym na komputerach wymienionych w pliku niewolników.

hadoop-daemon.sh zgodnie z Tariq jest stosowany w każdym węźle. Węzeł główny nie uruchomi usług na urządzeniach slave. W konfiguracji pojedynczego węzła będzie działać tak samo, jak start-all.sh. W konfiguracji wielowęzłowej będziesz musiał uzyskać dostęp do każdego węzła (master, a także slaves) i wykonać na każdym z nich .

Wystarczy popatrzeć na thisstart-all.sh to nazwać config następnie DFS i mapred

Answer 3

Zaczynając

start-dfs.sh (starts the namenode and the datanode) 
start-mapred.sh (starts the jobtracker and the tasktracker) 

Przerywanie

stop-dfs.sh 
stop-mapred.sh