Podczas uruchamiania zadania hadoop na pseudonode, zadanie kończy się niepowodzeniem i zostało zabite. Błąd: próba_ zadania nie powiodła się status raportu przez 601 sekundHadoop Job: Zadanie nie zgłasza statusu przez 601 sekund
Ale ten sam program działa przez Eclipse (zadanie lokalne).
Zadanie: istnieje około 25K słów kluczowych, wyjście będzie wszelką możliwą kombinację (dwa na raz), tj około 25K * 25K aplecie
Co może być problemem?
Z jakiegoś powodu zadanie, wykonywane na twoim pseudonodzie, nie postępuje. Możesz zwiększyć ustawienie "mapred.task.timeout" w pliku mapred-site.xml. Domyślna wartość to samo w mapred-default.xml jest:
<property>
<name>mapred.task.timeout</name>
<value>600000</value>
<description>The number of milliseconds before a task will be
terminated if it neither reads an input, writes
an output, nor updates its status string.
</description>
</property>
Dla celów testowych/jeden etat lub debugowania przyrost wartości czasowej-out może być dobrym rozwiązaniem, ale jak pokazuje praktyka ta nie jest dobrym rozwiązaniem do produkcji, powinieneś przejrzeć i zoptymalizować kod.
Hadoop Udostępnia API raportowania dla tego samego. Jeśli nie zgłosisz postępów do zadania miauczenia przez 10 minut, czyli 600 sekund, uważa on zadanie za zablokowane i zabije to zadanie. Numer referencyjny interfejsu API to Here