使用redirectToLog的Spark Launcher不会写入日志

时间:2018-08-30 11:58:44

标签: scala apache-spark

我正在使用SparkLauncher来提交Spark应用程序。我想将日志信息重定向到由logback.xml定义的日志文件。我正在使用com.typesafe.scalalogging.LazyLogging。

这是我尝试执行的操作,但不起作用:

val sparkLauncher: SparkLauncher = new SparkLauncher(envVariable)
      .setAppName("spark")
      .redirectToLog(this.getClass.getName)
      .setSparkHome(sparkInput.sparkHomePath)
      .setMaster(sparkInput.master)
      .setMainClass(sparkInput.classPath)
      .setAppResource(sparkInput.jarPath)
      .setVerbose(true) 
val sparkLauncher: SparkLauncher = buildSparkLauncher(sparkInput)
val p = sparkLauncher.launch()
p.waitFor()

0 个答案:

没有答案