W licznikach zleceń hadoop, jaka jest różnica między "zmaterializowanymi bajtami wyjściowymi mapy" a "bajtami wyjściowymi map"? Nie widzę tego pierwszego, gdy wyłączam kompresję wyjściową mapy, więc domyślam się, że jest to rzeczywisty bajt wyjściowy (skompresowany), podczas gdy drugi jest nieskompresowanym bajtem?"Mapowanie danych wyjściowych zmaterializowanych bajtów" w porównaniu do "bajtów wyjściowych map"
Myślę, że masz rację. Od http://hadoop.apache.org/docs/r1.0.4/releasenotes.html:
MAPREDUCE-2365. Nowe liczniki dla FileInputFormat (BYTES_READ) i FileOutputFormat (BYTES_WRITTEN). Nowy licznik MAP_OUTPUT_MATERIALIZED_BYTES dla skompresowanego MapOutputSize. (Siddharth Seth)
(Zmiany Ponieważ Hadoop 0.20.2)
.............................. .................................................. .................................................. .................
Oto cytat z Tom White'a "Hadoop Definitive Guide", wydanie 3 (tabela 8-2, strona 261):
"Map output materialized bytes" - Liczba bajtów danych map faktycznie zapisanych na dysku. Jeśli włączona jest kompresja mapy, jest to odzwierciedlone w wartości licznika.
"Mapuj bajty wyjściowe" - liczba bajtów nieskompresowanych danych wyjściowych generowanych przez wszystkie mapy w zadaniu. Inkrementowane za każdym razem, gdy metoda collect() jest wywoływana na mapie OutputCollector.
Wygląda na to, że na stronie szczegółów zadania nie widzę "Map output materialized bytes". Używam Hadoop 2.0.0-mr1-cdh4.2.1. Czy muszę dokonać pewnych zmian ustawień. –