. Sparkstaging katalog w hdfs nie jest usuwany

Question

Prowadzimy pewne prace iskrowe i widzimy .sparkstaging w programie hdfs utrzymujący się po zakończeniu pracy. Czy jest jakiś parametr, który musimy ustawić, aby usunąć katalog pomostowy po zakończeniu zadania?

iskra.yarn.preserve.staging.files jest domyślnie fałszywa i dlatego nie ustawiliśmy jej jawnie. prowadzimy iskrę na przędzy z wykorzystaniem hortonworks i wersję zapłonową 1,2

Pozdrawiam, manju

Answer 1

Proszę sprawdzić poniższych zdarzeń dziennika w wyjścia konsoli zakończenia pracy, aby uzyskać lepszy wgląd w to, co się dzieje:

1. ApplicationMaster: Deleting staging directory .sparkStaging/application_xxxxxx_xxxx - oznacza to, że aplikacja była w stanie skutecznie oczyścić katalogu pomostowego
2. ApplicationMaster: Staging directory is null - oznacza to, że aplikacja nie była w stanie znaleźć dir pomostowy dla TH jest aplikacja
3. ApplicationMaster: Failed to cleanup staging dir .sparkStaging/application_xxxxxx_xxxx - oznacza to, coś poszło nie tak usunięciem katalogu pomostowego

Mógłbyś również dokładnie sprawdzić te właściwości w klastrze, które mogą mieć wpływ na scenariusz został wymieniony: spark.yarn.preserve.staging.files i ten SPARK_YARN_STAGING_DIR.