6
Moje zadanie nie wymaga sortowania, tylko informacje o agregacji na klucz. Myślę więc, że jeśli to możliwe, można wyłączyć sortowanie wszystkich informacji w celu zwiększenia wydajności.Czy można wyłączyć sortowanie w hadoopie?
Uwaga: Nie mogę ustawić liczby reduktorów na zero, ponieważ muszę agregować dane pomiędzy wieloma twórcami map. Po prostu nie interesowałem się posortowanym wynikiem z jednym reduktorem.
AFAIK, sortowanie jest istotną fazą w pracy MR, nie można jej pominąć. Sortowanie zwykle nie stanowi istotnego elementu wydajności. – wlk
yura, znalazłeś rozwiązanie? Głosuję, aby zamknąć jako duplikat, ponieważ w drugim pytaniu jest właściwie odpowiedź! – gsamaras
Możliwy duplikat [Hadoop i Python: Wyłącz sortowanie] (http://stackoverflow.com/questions/19188263/hadoop-and-python-disable-sorting) – gsamaras