Jak naprawić błąd "Nielegalna partycja" w hadoopie?

Question

Napisałem niestandardowy program do partycjonowania. Kiedy mam liczbę zadań redukcji większych niż 1, zadanie się nie udaje. Jest to wyjątek, który dostaję:

java.io.IOException: Illegal partition for weburl_compositeKey@804746b1 (-1) 
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:930) 
at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:499) 

kod, który napisałem jest

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode()) % numPartitions; 
} 

to, że key.hashCode() równa -719988079 i mod tej wartości wraca -1.

Doceń swoją pomoc w tej sprawie. Dzięki.

Answer 1

Obliczony numer partycji według niestandardowego Partitioner musi być nieujemny. Spróbuj:

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode() & Integer.MAX_VALUE) % numPartitions; 
} 

Answer 2

Albo można użyć

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode() & Integer.MAX_VALUE) % numPartitions; 
} 

Answer 3

ostrzeżenie o użyciu:

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return Math.abs(key.hashCode()) % numPartitions; 
} 

Jeśli trafisz przypadek, w którym key.hashCode() jest równa Integer.MIN_VALUE będzie wciąż ujemny wartość partycji. Jest to osobliwość Java, ale Math.abs(Integer.MIN_VALUE) zwraca Integer.MIN_VALUE (jak w -2147483648). Jesteś bezpieczniejszy, biorąc bezwzględną wartość modułu, jak w:

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return Math.abs(key.hashCode() % numPartitions); 
}