Spark 2.0.1找不到通过归档标记

时间:2017-06-08 00:04:56

标签: hadoop apache-spark pyspark hdfs yarn

我正在运行Spark作业,该作业使用通过--archives spark标志传入的其他文件

spark-submit .... --archives hdfs:///user/{USER}/{some_folder}.zip .... {file_to_run}.py

Spark目前正在YARN上运行,当我尝试使用spark版本1.5.1时,它很好。

然而,当我用spark 2.0.1运行相同的命令时,我得到了

ERROR yarn.ApplicationMaster: User class threw exception: java.io.IOException: Cannot run program "/home/{USER}/{some_folder}/.....": error=2, No such file or directory

由于资源由YARN管理,因此手动检查文件是否成功解压缩并在作业运行时存在是一项挑战。

我想知道是否有人遇到类似问题。

0 个答案:

没有答案