Próbuję wyłączyć komunikatJak pozbyć się komunikatu "Korzystanie z domyślnego profilu log4j programu Spark: org/apache/spark/log4j-defaults.properties"?
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
gdy uruchamiam moją Spark aplikacji. Przekierowałem wiadomości INFO z powodzeniem, ale ta wiadomość wciąż się wyświetla. Wszelkie pomysły będą mile widziane.
OK, więc wymyśliłem sposób, aby to zrobić. Zasadniczo miałem swój własny log4j.xml początkowo, który był używany, i dlatego widzieliśmy tę właściwość. Gdy już miałem swój własny plik "log4j.properties", ta wiadomość zniknęła.
To jest dokładne rozwiązanie, jeśli używasz Intellij. Dobra robota. Pozostałe odpowiedzi mi nie pasowały. –
Czy możesz podać mi kilka szczegółów, jak udało Ci się uzyskać domyślny profil log4j programu Using Spark: org/apache/spark/log4j-defaults.properties. Używam iskry 1.6, uruchamiając zadanie w programie śledzącym przędzę. Nie można znaleźć sposobu przekazywania log4j w środowisku rozproszonym. Mam własny plik log4j propertie –
jeszcze prostsze po prostu cd SPARK_HOME/conf następnie mv log4j.properties.template log4j.properties otwórz log4j.properties i zmienić wszystko INFO do ERROR. Tutaj SPARK_HOME jest katalogiem głównym twojej instalacji iskrowej.
Niektórzy mogą używać hdfs jako swojego zaplecza magazynu Spark i znajdą komunikaty rejestrowania faktycznie wygenerowane przez hdfs. Aby to zmienić, przejdź do pliku HADOOP_HOME/etc/hadoop/log4j.properties. Po prostu zmień hadoop.root.logger=INFO,console na hadoop.root.logger=ERROR,console. Ponownie HADOOP_HOME jest źródłem twojej instalacji Mufy dla mnie to była /usr/local/hadoop.
Musiałem zastosować te zmiany i skopiować 'log4j.properties' do folderu' src/main/resources', aby zmiany zostały wykryte. –
Ciekawe, czy zastanawiam się, czy zrestartowałeś iskry-mistrza, jeśli nie byłoby to konieczne? – quine
Dunno, ale prawdopodobnie ponownie uruchomiłem SBT, w którym pracował Spark. –
dodać folder iskry do zmiennej CLASSPATH. – Kaushal
@kaushal masz rację, musiałem zrobić coś podobnego, ale nie dokładnie, co zasugerowałeś tutaj, ale jestem pewien, że jeśli zrobię to, co zasugerowałeś, ta wiadomość zniknąłaby. Dzięki! – Seagull