Spark 2.0.1找不到通过归档标记

Question

我正在运行Spark作业，该作业使用通过--archives spark标志传入的其他文件

spark-submit .... --archives hdfs:///user/{USER}/{some_folder}.zip .... {file_to_run}.py

Spark目前正在YARN上运行，当我尝试使用spark版本1.5.1时，它很好。

然而，当我用spark 2.0.1运行相同的命令时，我得到了

ERROR yarn.ApplicationMaster: User class threw exception: java.io.IOException: Cannot run program "/home/{USER}/{some_folder}/.....": error=2, No such file or directory

由于资源由YARN管理，因此手动检查文件是否成功解压缩并在作业运行时存在是一项挑战。

我想知道是否有人遇到类似问题。