co to jest katalog/tmp w hadoopach hdfs?

Question

mam skupisko 4 datanodes i HDFS struktury na każdym węźle jest poniżej

Jestem stoi miejsca na dysku problem, jak widać /tmp folder z HDFS zajmuje więcej miejsca (217 GB). Próbowałem więc sprawdzić dane z folderu /tmp. Znalazłem następujące pliki tymczasowe. Udostępniłem te foldery tymczasowe, z których każda zawiera pliki części o rozmiarze od 10 gb do 20 gb. Chcę wyczyścić ten katalog/tmp. Czy ktoś może dać mi znać konsekwencje usunięcia tych folderów lub plików części. Czy wpłynie to na moją gromadę?

Answer 1

HDFS katalog/tmp stosowany głównie jako tymczasowego magazynowania w czasie pracy MapReduce. Artefakty mapreduce, dane pośrednie itp. Będą przechowywane w tym katalogu. Pliki te zostaną automatycznie usunięte po ukończeniu operacji mapowania. Jeśli usuniesz te pliki tymczasowe, może to wpłynąć na aktualnie uruchomione zadania mapreduce.

Pliki tymczasowe są tworzone przez świni. Tymczasowe usuwanie plików dzieje się na końcu. Pig nie obsługuje usuwania plików tymczasowych, jeśli wykonanie skryptu zakończyło się niepowodzeniem lub zostało zabite. Wtedy musisz poradzić sobie z tą sytuacją. Lepiej zajmij się działaniem związanym z czyszczeniem plików tymczasowych w samym skrypcie.

następujący artykuł daje dobre zrozumienie

http://www.lopakalogic.com/articles/hadoop-articles/pig-keeps-temp-files/