Jak interpretować MapReduce wydajności Liczniki

Question

Aby być bardziej konkretne:

1. W liczników zadaniowych, CPU spędzony pochodzi proc/utime + stime STAT, więc oznacza to, że takie rzeczy jak iowait nie będą liczone. Czy to prawda?
2. Czas, jaki upłynął do wykonania całego zadania, jest dużo dłuższy niż licznik czasu pracy procesora, czy oznacza to, że węzeł jest bardzo obciążony, a kontener nie otrzymuje procesora ani nie czeka na IO przez bardzo długi czas?
3. Jak mogę sprawdzić, czy zadanie jest powiązane z procesorem, czy IO tylko z licznika?

Answer 1

'CPU_MILLISECONDS' licznik można uzyskać informacje na temat - łączny czas wszystkich zadań na CPU.

'REDUCE_SHUFFLE_BYTES' wyższa liczba, wyższe wykorzystanie n/w. (dużo więcej korzysta z tego)

Istnieją 4 kategorie liczników w Hadoop: system plików, praca, framework i niestandardowe.

Można użyć wbudowanych liczników aby potwierdzić, że:

1.The correct number of bytes was read and written 
2.The correct number of tasks was launched and successfully ran 
3.The amount of CPU and memory consumed is appropriate for your job and cluster nodes 
4.The correct number of records was read and written 

więcej informacji dostepny @https://www.mapr.com/blog/managing-monitoring-and-testing-mapreduce-jobs-how-work-counters#.VZy9IF_vPZ4 (** credits- mapr.com)