Przekazywanie argumentów programistom Hadoop

Question

Używam new Hadoop API i szukam sposobu przekazania niektórych parametrów (kilka ciągów) do twórców map.
Jak mogę to zrobić?

This solutions works for old API:

JobConf job = (JobConf)getConf(); 
job.set("NumberOfDocuments", args[0]); 

Tutaj „NumberOfDocuments” jest nazwą parametru a jego wartość jest odczytywana z „args[0]„, argument wiersza poleceń. Po ustawieniu tej argumentacji, można pobrać jego wartość w reduktorze lub odwzorowującym następująco:

private static Long N; 
public void configure(JobConf job) { 
    N = Long.parseLong(job.get("NumberOfDocuments")); 
} 

pamiętać, że trudne jest to, że nie można ustawić parametry jak poniżej:

Configuration con = new Configuration(); 
con.set("NumberOfDocuments", args[0]); 

Answer 1

W głównej metody ustaw wymagany parametr jak poniżej lub użyj -D command line option podczas uruchamiania zadania.

Configuration conf = new Configuration(); 
conf.set("test", "123"); 

Job job = new Job(conf); 

W mapper/reduktora uzyskać parametr jako

Configuration conf = context.getConfiguration(); 
String param = conf.get("test");