Как сбрасывать сообщения в консоли при использовании spark-submit?

Когда я запускаю задание spark-submit с scala, я вижу много сообщений о состоянии в консоли.

Но я хотел бы видеть только свои отпечатки. Можно ли поставить какой-нибудь параметр, чтобы не видеть эти сообщения?


apache-spark spark-submit
person Татьяна Паскевич    schedule 28.07.2016    source источник
comment
Примите ответ, если он вас удовлетворил; не оставляйте вопрос открытым.   -  person sebszyller    schedule 29.07.2016

Ответы (1)


arrow_upward
3
arrow_downward

Это должно сделать трюк по большей части. Поместите это внутри кода:

import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)
Logger.getLogger("akka").setLevel(Level.WARN)

Или это в conf/log4j.properties:

log4j.rootCategory=WARN, console
person sebszyller    schedule 28.07.2016