如何避免在保存DataFrame时生成crc文件和SUCCESS文件?

时间:2015-12-20 15:34:18

标签: json apache-spark spark-dataframe

我使用以下代码将spark DataFrame保存到JSON文件

unzipJSON.write.mode("append").json("/home/eranw/Workspace/JSON/output/unCompressedJson.json")

输出结果为:

part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
_SUCCESS
._SUCCESS.crc
  1. 如何生成单个JSON文件而不是每行文件?
  2. 如何避免使用* crc文件?
  3. 如何避免SUCCESS文件?

0 个答案:

没有答案