2015-12-07 19 views
5

Mamy klaster, który ma około 20 węzłów. Ten klaster jest udostępniany wielu użytkownikom i zadaniom. Dlatego bardzo trudno jest mi obserwować swoją pracę, aby uzyskać pewne dane, takie jak użycie procesora, wejścia/wyjścia, sieć, pamięć itp.Jak uzyskać wskaźniki pracy iskrzenia?

Jak uzyskać dane na poziomie zlecenia.

PS: W klastrze zainstalowano już Ganglia, ale nie wiem, w jaki sposób mogę ją uruchomić, aby działała na poziomie zadania. Chciałbym monitorować zasób wykorzystywany przez klaster do wykonywania tylko mojej pracy.

+0

Nie jestem pewien, czy rozumiem poprawnie. Chcesz uzyskać różne wskaźniki klastrów bezpośrednio z pracy? A może chcesz wiedzieć, ile zasobów używa twoja praca? – maxteneff

+0

@maxteneff, przepraszam, jeśli nie było jasne w moim poście. Chcę wiedzieć, ile zasobów wykorzystałem w mojej pracy. – diplomaticguru

Odpowiedz

1

można uzyskać metryki pracy iskra z serwera Spark Historia, która wyświetla informacje o:
- Lista etapów harmonogramu i zadań
- Podsumowanie RDD Rozmiary i wykorzystanie pamięci
- A Informacja środowiskowa
- A Informacje o uruchomionych wykonawców

1, ustaw spark.eventLog.enabled true przed uruchomieniem aplikacji zapłonową. Spowoduje to skonfigurowanie Sparka do zapisania zdarzeń Sparka w pamięci trwałej.
2, Set spark.history.fs.logDirectory, jest to katalog zawierający dzienniki zdarzeń aplikacji, które mają zostać załadowane przez serwer historii;
3 Uruchom serwer Historia wykonując: ./sbin/start-history-server.sh

patrz link poniżej, aby uzyskać więcej informacji:
http://spark.apache.org/docs/latest/monitoring.html

Powiązane problemy