如何在具有特定大小/记录块的控制台上写入流数据？

Question

我需要通过Spark流读取CSV文件，并将输出流写入具有特定行/大小的特定块的控制台。

使用火花流readStream读取CSV并使用writeStream将其写入控制台。

val df: DataFrame = sparkSession.readStream
      .option("sep", ",")
      .schema(userSchema)
      .csv("path")


val res: StreamingQuery = df.writeStream
      .format("console")
      .start()

我希望所有50000行都以50行的块显示在控制台中，但是我只能得到20行，或者我需要设置一个数字才能在控制台中显示。

Answer 1

您可以通过在writestream上设置' numRows '属性来设置要显示的行数。

 df.writeStream
 .option("numRows",50)