异常的火花输出：在分区P中处理了N行

Question

我今天进行了Spark工作，并遇到了一些以前从未见过的异常​​行为。

控制台将打印大量行，如下所示：

Processed 992100 rows in partition 110
Processed 992200 rows in partition 110
Processed 2142900 rows in partition 52

每隔一段时间，它就会打印一次：

19/02/05 23:05:35 INFO UnsafeExternalSorter: Thread 92 spilling sort data of 112.0 MB to disk (1  time so far)
19/02/05 23:05:37 INFO UnsafeExternalSorter: Thread 92 spilling sort data of 112.0 MB to disk (2  times so far)

我以为也许我在应用程序代码中留下了一条日志行，但是我在任何地方都找不到该日志行。