Czy istnieje sposób na uzyskanie identyfikatora zadania mapy w programie Spark? Na przykład, jeśli każde zadanie mapy wywołuje funkcję zdefiniowaną przez użytkownika, czy mogę pobrać identyfikator tego zadania mapowego z funkcji zdefiniowanej przez użytkownika?Jak uzyskać identyfikator zadania mapy w Sparku?
7
A
Odpowiedz
15
Nie jestem pewien co masz na myśli przez ID mapy zadanie, ale można uzyskać dostęp do informacji o zadaniach stosując TaskContext
:
import org.apache.spark.TaskContext
sc.parallelize(Seq[Int](), 4).mapPartitions(_ => {
val ctx = TaskContext.get
val stageId = ctx.stageId
val partId = ctx.partitionId
val hostname = java.net.InetAddress.getLocalHost().getHostName()
Iterator(s"Stage: $stageId, Partition: $partId, Host: $hostname")
}).collect.foreach(println)
Podobna funkcjonalność została dodana do PySpark w Spark 2.2.0 (SPARK-18576):
from pyspark import TaskContext
import socket
def task_info(*_):
ctx = TaskContext()
return ["Stage: {0}, Partition: {1}, Host: {2}".format(
ctx.stageId(), ctx.partitionId(), socket.gethostname())]
for x in sc.parallelize([], 4).mapPartitions(task_info).collect():
print(x)
Powiązane problemy
- 1. Uzyskaj bieżący identyfikator zadania w Spark w Javie
- 2. Selery - Uzyskaj identyfikator zadania dla bieżącego zadania
- 3. Jak działa partycjonowanie w Sparku?
- 4. Uzyskaj identyfikator niepowodzenia zadania dla aktualnie uruchomionego zadania Hadoop.
- 5. Jak uzyskać identyfikator pakietu?
- 6. Identyfikator uruchomienia aplikacji dla zadania Spark
- 7. Jak załadować plik właściwości Java i użyć go w Sparku?
- 8. Jak uzyskać unikalny identyfikator JVM?
- 9. Jak uzyskać identyfikator wątku jądra?
- 10. Flask - Jak uzyskać identyfikator sesji
- 11. Jak uzyskać bieżący identyfikator procesu?
- 12. Jak uzyskać identyfikator klienta Magento
- 13. Jak mogę uzyskać identyfikator App
- 14. Jak uzyskać wybrany identyfikator opcji?
- 15. Jak uzyskać identyfikator pola formularza w Django?
- 16. Jak uzyskać identyfikator Reklama w android
- 17. Jak uzyskać identyfikator serii w Highcharts/Highstock
- 18. Jak uzyskać identyfikator wątku w C#
- 19. Jak uzyskać pierwszy nieużywany identyfikator w tabeli?
- 20. Używanie zadania ASYNC do ładowania pinów mapy
- 21. W jaki sposób partycje mapują się do zadań w Sparku?
- 22. Jak uzyskać dane wyjściowe zadania przesiewowego do innego zadania gruntowego?
- 23. Jak dodać nazwę pliku źródłowego do każdego wiersza w Sparku?
- 24. jak uzyskać identyfikator projektu Google i identyfikator aplikacji pushwoosh?
- 25. Równoważna z lewą zewnętrzną złączką w SPARKU
- 26. Uzyskiwanie znacznik mapy przez jego identyfikator w Google Maps v2
- 27. jQuery - datatables, jak uzyskać identyfikator kolumny
- 28. Jak uzyskać identyfikator debugowania obiektu zaćmienia?
- 29. Android: Jak uzyskać identyfikator zasobu zasobów Androida
- 30. Jak uzyskać aktualny identyfikator użytkownika Prestashop?