Sekcja Task Side-Effect Files samouczka Hadoop wymienia użycie "próby" zadania jako unikatowej nazwy. Jak uzyskać ten identyfikator ID próby w moim programie odwzorowującym lub redukującym?Uzyskaj identyfikator niepowodzenia zadania dla aktualnie uruchomionego zadania Hadoop.
8
A
Odpowiedz
11
Jeśli potrzebujesz unikatowy identyfikator dla pliku efekt uboczny w Hadoop, można wykorzystać próba unikatowy identyfikator w pracy z tym kodem:
public static String getAttemptId(Configuration conf) throws IllegalArgumentException
{
if (conf == null) {
throw new NullPointerException("conf is null");
}
String taskId = conf.get("mapred.task.id");
if (taskId == null) {
throw new IllegalArgumentException("Configutaion does not contain the property mapred.task.id");
}
String[] parts = taskId.split("_");
if (parts.length != 6 ||
!parts[0].equals("attempt") ||
(!"m".equals(parts[3]) && !"r".equals(parts[3]))) {
throw new IllegalArgumentException("TaskAttemptId string : " + taskId + " is not properly formed");
}
return parts[4] + "-" + parts[5];
}
4
późno do partii, ale można użyć TaskAttemptID
klasa do przeanalizowania właściwości mapred.task.id
.
W moim przypadku chciałem liczbową wartość sama próba i stosowane następujące w moim Mapper:
int _attemptID;
@Override
public void configure(JobConf conf) {
TaskAttemptID attempt = TaskAttemptID.forName(conf.get("mapred.task.id"));
_attemptID = attempt.id();
}
9
Dzięki nowej Hadoop API:
context.getTaskAttemptID().getTaskID().getId()
Powiązane problemy
- 1. Selery - Uzyskaj identyfikator zadania dla bieżącego zadania
- 2. Co oznacza czas procesora dla zadania Hadoop?
- 3. Identyfikator uruchomienia aplikacji dla zadania Spark
- 4. Uzyskaj bieżący identyfikator zadania w Spark w Javie
- 5. ThreadStatic dla zadania TPL
- 6. Jak debugować hadoop mapreduce zadania od Eclipse?
- 7. Niewłaściwy słoik podczas uruchamiania zadania Hadoop
- 8. Uruchamianie zadania Hadoop bez pliku wyjściowego
- 9. Zadania, zadania Cron lub Backendy dla aplikacji
- 10. Eclipse - wyświetla tylko zadania dla aktualnie edytowanego pliku
- 11. Przechowywanie identyfikatora zadania dla każdego zadania selera w bazie danych
- 12. Jak uzyskać identyfikator zadania mapy w Sparku?
- 13. Rx i zadania - anulować uruchamianie zadania po utworzeniu nowego zadania?
- 14. Uzyskaj wynik ostatniego zadania <> (kontynuacja)?
- 15. Jak przekazać parametr do zadania przesyłania strumieniowego Hadoop Pythona?
- 16. Android zadania testu gradowego
- 17. Zadania w tle dla aplikacji
- 18. Tworzenie zadania cron dla mysqldump
- 19. Czy Hadoop może dystrybuować zadania i bazę kodów?
- 20. Nie można uruchomić zadania MapReduce na hadoop 2.4.0
- 21. Uruchamianie zadania po wszystkie zadania zostały zakończone
- 22. Lista aktualnie uruchomionego procesu w Go
- 23. Uzyskaj nazwę schematu aktualnie wykonywanej procedury składowanej
- 24. Tworzenie zadania Capistrano, które wykonuje różne zadania na podstawie roli
- 25. W selerze, jak uzyskać status zadania dla wszystkich zadań dla określonej nazwy zadania?
- 26. Zamknięcia i zadania
- 27. Jak wywołać inne zadania z mojego niestandardowego zadania * przed uruchomieniem * mojego kodu zadania?
- 28. Zadania opóźnione w C++
- 29. Zadania planowania Cordova
- 30. Zadania asynchroniczne Android wykonaj