为什么Spark结构化流不使用_temporary文件夹?

时间:2019-01-06 15:22:21

标签: apache-spark spark-structured-streaming

我在源文件和输出文件中都使用拼花文件格式使用Spark结构化流传输。

我看不到在写入镶木地板文件之前创建了_temporary文件夹,但是使用了ParquetOutputCommitter并使用该类创建了据我所知的_temporary文件夹。

Spark结构化流是否使用某种临时文件夹来写入镶木地板文件或直接写入文件?实木复合地板的书写方式如何?

0 个答案:

没有答案