Question

在本地模式下运行时，这会将日志打印到控制台：

object Util extends Logging {

    val df: DataFrame = ???

    df.select("id", "name")
      .rdd.foreach(r => log.warn("here"))
}

但是在群集模式下运行时却没有。我相信它是因为log命令在工作节点而不是主节点上执行。

使用println(...)

时也是如此

如何在控制台中显示日志结果？

Answer 1

如果您在群集上运行作业，首先应collect rdd个rdd.collect().foreach(r ⇒ log.warn("here"))数据。

rdd

但收集所有take可能不是一个好主意，因此您可以使用def flat Position.select(:id, :name).map{|p| {id: p.id, name: p.attributes}} + PositionSynonyms.select(:position_id, :name).map{|s| {id: s.position_id, name: s.name}} end函数来获取少量要打印的rdd元素。

群集模式下的Spark记录无任何打印

1 个答案: