Praca RecordReadera w Hadoop

Question

Czy ktoś może wyjaśnić, jak działa RecordReader? Jak działają metody po uruchomieniu programu?

Answer 1

(nowe API): Domyślna klasa Mapper ma metodę run, który wygląda tak:

public void run(Context context) throws IOException, InterruptedException { 
    setup(context); 
    while (context.nextKeyValue()) { 
     map(context.getCurrentKey(), context.getCurrentValue(), context); 
    } 
    cleanup(context); 
} 

W Context.nextKeyValue(), Context.getCurrentKey() i Context.getCurrentValue() metody są owijarki do metod RecordReader. Zobacz plik źródłowy src/mapred/org/apache/hadoop/mapreduce/MapContext.java.

Ta pętla wykonuje i wywołuje metodę wdrożenia Mappera pod nazwą map(K, V, Context).

Co jeszcze chciałbyś wiedzieć?

Answer 2

org.apache.hadoop.mapred.MapTask - runNewMapper()

Imp kroki:

1. tworzy nowe Mapper

2. dostać wejściowe podzielone na odwzorowującego

3. pobierz rejestrator dla podziału

4. zainicjować czytnika rekord

5. użyciu czytnika rekord iterację getNextKeyVal() i przekazać klucz, val do metody mappers mapy

6. oczyścić