Jakie są różnice między Sort Comparator i Komparatorem grupy w Hadoop?

Question

Jakie są różnice między Sort Komparator i Komparator grupowy w Hadoop?

Answer 1

Aby zrozumieć GroupComparator, zobacz moją odpowiedź na to pytanie -

What is the use of grouping comparator in hadoop map reduce

SortComparator: Służy do zdefiniowania jak klucze wyjściowe map są klasyfikowane

Fragmenty książki Hadoop - Definitive Przewodnik:

Kolejność sortowania kluczy znajduje się w następujący sposób:

1. Jeśli właściwość mapred.output.key.comparator.class jest ustawiony, bezpośrednio lub przez wywołującego setSortComparatorClass() na Hioba, następnie służy instancją tej klasy. (W starego API równoważna metoda jest setOutputKeyComparatorClass() na JobConf.)

2. W przeciwnym razie, klucze muszą być podklasą WritableComparable i zarejestrowany porównawczej dla kluczowej klasy jest używany.

3. Jeśli nie zarejestrowany komparatora, a następnie RawComparator użyje się deserializes strumienie bajt porównywane w obiekty jak i uczestników do compareTo() sposobie WritableComparable „S.

SortComparator Vs GroupComparator w jednej wkładki: SortComparator decyduje map klawiszy wyjściowe są klasyfikowane podczas GroupComparator decyduje, które przyciski wyjścia map w reduktor iść do tego samego ograniczenia metody połączenia.

Answer 2

grupie porównawczej decyduje, które przyciski wyjścia mapa zostaną zjednoczone (pogrupowane) do jednego klucza, i oczywiście wszystkie zbiory wartości zostaną zgrupowane też. Zwykle pierwszy klucz jest potrzebny do zebrania zbiorczego.

SortComparator decyduje, w jaki sposób klucze zostaną posortowane w wprowadzeniu redukcji. Domyślnie używa uporządkowania naturalnego.