Jak zabić zadania hadoopowe

Question

Chcę zabić wszystkie moje zadania hasoop automatycznie, gdy mój kod napotka nieobsługiwany wyjątek. Zastanawiam się, jaka jest najlepsza praktyka, aby to zrobić?

Dzięki

Answer 1

nieobsługiwany wyjątek będzie (zakładając, że powtarzalne jak złych danych, w przeciwieństwie do błędów odczytu z danego węzła danych) ostatecznie nie zadanie tak.

Można skonfigurować maksymalną liczbę razy określonej mapy lub zmniejszyć zadanie może zawieść zanim nie cała praca przez następujące właściwości:

• mapred.map.max.attempts - Maksymalna liczba prób na mapie zadania. Innymi słowy, framework spróbuje wykonać zadanie mapowania wiele razy, zanim się go zrezygnuje.
• mapred.reduce.max.attempts - jw, ale dla zmniejszenia zadań

Jeśli chcesz zawieść pracę przy pierwszej awarii, ustaw tę wartość z jej domyślnie 4 do 1.

Answer 2

zależności od wersja, wykonaj następujące czynności:

wersja < 2.3.0

zabić zadanie Hadoop:

hadoop job -kill $jobId 

Można uzyskać listę robią wszystko jobid za:

hadoop job -list 

---

wersji> = 2.3.0

zabić zadanie Hadoop:

yarn application -kill $ApplicationId 

Możesz uzyskać listę wszystkich ApplicationId robienie:

yarn application -list 

Answer 3

Po prostu wymusić na ID procesu, zadanie hadoop zostanie automatycznie zabity. Użyj tego polecenia:

kill -9 <process_id> 

eg: process ID no: 4040 namenode

username@hostname:~$ kill -9 4040 

Answer 4

Użycie polecenia folloing są amortyzowane

hadoop job -list 
hadoop job -kill $jobId 

rozważyć użycie

mapred job -list 
mapred job -kill $jobId 

Answer 5

Uruchom list pokazać wszystkie zadania, a następnie użyć jobID/applicationID w odpowiednim c ommand.

Zabij mapred pracy:

mapred job -list 
mapred job -kill <jobId> 

Zabij przędzy pracy:

yarn application -list 
yarn application -kill <ApplicationId>