如何避免在spark saveAsHadoopFile（）中生成.crc文件？

Question

是否有任何配置在java中使用saveAsHadoopFile方法时关闭生成.crc文件 - apache spark？

我使用Apache Spark 1.6.2并以独立模式运行我的应用程序。

Answer 1

我没有找到任何方法来避免在使用saveAsHadoopFile（）方法时创建.crc文件。 因此我编写了一个实用程序来删除那些不需要的.crc和.SUCCESS文件。