Rejestrowanie PySpark?

Question

Chcę, aby mój program sterownika Spark, napisany w Pythonie, wyprowadził kilka podstawowych informacji rejestracyjnych. Mogę to zrobić na trzy sposoby:

1. Korzystanie z mostka PySpark py4j w celu uzyskania dostępu do narzędzia do logowania log4j używanego przez firmę Spark.

log4jLogger = sc._jvm.org.apache.log4j LOGGER = log4jLogger.LogManager.getLogger(__name__) LOGGER.info("pyspark script logger initialized")

2. wystarczy użyć standardowego drukiem konsoli.

3. Moduł biblioteki standardowej Python. Wydaje się to idealne i najbardziej Pythoniczne podejście, jednak co najmniej z pudełka, to nie działa, a logowane wiadomości nie wydają się być odzyskiwane. Oczywiście można to skonfigurować do logowania do py4j-> log4j i/lub do konsoli.

Oficjalny podręcznik programowania (https://spark.apache.org/docs/1.6.1/programming-guide.html) w ogóle nie wspomina o rejestrowaniu. To rozczarowuje. Powinien istnieć standardowy udokumentowany zalecany sposób logowania z programu sterownika Spark.

szukał tego problemu i znalazłem to: How do I log from my Python Spark script

Ale zawartość tego wątku były niezadowalające.

Konkretnie mam następujące pytania:

• jestem brakuje standardowy sposób logowania z programu sterownika PySpark?
• Czy są jakieś plusy i minusy logowania się do py4j-> log4j kontra konsoli?

Answer 1

Czystszym rozwiązaniem jest użycie standardowego modułu rejestrowania zapytań z niestandardowym rozproszonym modułem obsługi do zbierania komunikatów dziennika ze wszystkich węzłów klastra.

Patrz "Rejestrowanie w PySpark" tego Gist:

https://gist.github.com/smartnose/9f173b4c36dc31310e8efd27c3535a14

Answer 2

W moim środowisku Python dev (pojedyncza konfiguracja Spark maszyna) Używam tego:

import logging 


def do_my_logging(log_msg): 

    logger = logging.getLogger('__FILE__') 
    logger.warning('log_msg = {}'.format(log_msg)) 

do_my_logging('Some log message') 

który działa za pomocą skrypt spark-submit.