将联合应用于数据集时出现火花结构化流警告

时间:2018-12-19 03:47:51

标签: apache-spark spark-structured-streaming apache-spark-dataset

在我的Spark结构化流应用程序中,我正在对三个数据集进行unionByName

val allRecords = ds1
  .unionByName(ds2)
  .unionByName(ds3)

其中ds1等是强类型数据集。有时,一个微型批次的一个数据集为空。发生这种情况时,我会收到警告:

WARN MicroBatchExecution: Could not report metrics as number leaves in trigger logical plan did not match that of the execution plan:
logical plan leaves: (size = 8) OMITTED
execution plan leaves: (size = 7), FileScan csv OMITTED

因为这是预期的情况,有没有办法避免收到此警告?

0 个答案:

没有答案