Metody instalacji i czyszczenia Mappera/Reducera w Hadoop MapReduce

Question

Czy metody instalacji i czyszczenia są wywoływane w każdym zadaniu mapera i reduktora? A może są one wywoływane tylko raz na początku prac nad maperem i reduktorem?

Answer 1

Są one wywoływane dla każdego zadania, więc jeśli masz 20 programistów, uruchomione zostanie ustawienie/czyszczenie dla każdego z nich.

Jedna gotcha jest standardową metodą uruchamiania zarówno Mapper, jak i Reducer nie przechwytuje wyjątków w obrębie metody map/reduce - tak więc w przypadku wyrzucenia wyjątku w tych metodach metoda czyszczenia nie zostanie wywołana.

Answer 2

Jedno wyjaśnienie jest pomocne. Metody instalacji/czyszczenia są używane do inicjowania i czyszczenia na poziomie zadań. W ramach zadania pierwsza inicjalizacja odbywa się za pomocą pojedynczego wywołania metody setup(), a następnie zostaną wykonane wszystkie wywołania funkcji map() [lub zmniejszenia()]. Następnie kolejne wywołanie metody cleanup() zostanie zakończone przed zakończeniem zadania.

Answer 3

Nazywa się to zadaniem Zendera lub zadaniem Reduktora. Oto kod hadoop.

public void run(Context context) throws IOException, InterruptedException { 
    setup(context); 
    try { 
     while (context.nextKey()) { 
     reduce(context.getCurrentKey(), context.getValues(), context); 
     } 
    } finally { 
     cleanup(context); 
    } 
    } 

Answer 4

Według konfiguracji i czyszczenia mapreduce documentation nazywane są dla każdego Mapper i zadań redukcyjnych.

Answer 5

na reduktorze, który można wykonać w pracy, wykonaj zadanie job.setNumReduceTasks (1); w ten sposób ustawienie i oczyszczanie reduktora zostanie uruchomione tylko raz.