sc.addFile throw error = 2，在集群模式下没有这样的文件或目录

Question

我正在尝试运行R脚本使用Spark的管道（）将RDD发送到Rscript。我正在使用sc.addFile（）将Rscript复制到执行程序的内存中。

sc.addFile(rScript) and using SparkFiles.get(rName) to get the file name.

在运行作业群集模式时，我收到以下错误

Cannot run program "/data/tmp/spark-b8b8053e-0110-4ddb-91a3-
ae6f0f633c68/userFiles-78ed11c0-483b-4615-88eb-
8d1c97571997/RSCRIPT_NAME.R": error=2, No such file 
or directory

但该文件正被复制到/ data / tmp / spark-b8b8053e-0110-4ddb-91a3-     ae6f0f633c68 / userFiles-78ed11c0-483b-4615-88eb-     8d1c97571997位置。

不确定如何解决此问题。

Answer 1

我认为您正在尝试将其作为

执行

rdd.pipe("scriptName.R")

请在调用脚本之前添加“./”。

rdd.pipe("./scriptName.R")