Question

我需要将df.show（）的输出保存为字符串，以便我可以直接通过电子邮件发送。

例如，下面的例子来自官方的火花文档，：

val df = spark.read.json("examples/src/main/resources/people.json")

// Displays the content of the DataFrame to stdout
df.show()
// +----+-------+
// | age|   name|
// +----+-------+
// |null|Michael|
// |  30|   Andy|
// |  19| Justin|
// +----+-------+

我需要将上表保存为在控制台中打印的字符串。我确实看了log4j来打印日志，但是没有关于仅记录输出的任何信息。

有人可以帮我吗？

Answer 1

对于此类事情，

scala.Console有withOut方法：

val outCapture = new ByteArrayOutputStream
Console.withOut(outCapture) {
  df.show()
}
val result = new String(outCapture.toByteArray)

Answer 2

解决方法是将标准输出重定向到变量：

val baos = new java.io.ByteArrayOutputStream();
val ps =  new java.io.PrintStream(baos);

val oldPs = Console.out
Console.setOut(ps)
df.show()
val content = baos.toString()
Console.setOut(oldPs)

请注意，我在这里有一个弃用警告。

您还可以重新实现生成数据的方法Dataset.showString。它在后台使用take。也许这也是创建PR以使showString公开的好时机？：）

在spark-scala app

2 个答案: