如何避免在Spark中写入空的json文件

Question

我正在使用dataframewriter从火花作业中编写压缩的JSON，如下所示。

dataframe.write.option("compression", "gzip").json(outputFileFolder)

有时，如果数据帧只包含几行，我会看到输出包含空文件。有没有办法避免写空文件？

谢谢！