sc.addFile(distScript)
val piped = rdd.pipe(Seq(SparkFiles.get("finddistance.R")),
Map("SEPARATOR" -> ","))
**val result = piped.collect**
在调用piped.collect
期间,错误来自不是有效的win-32应用程序。虽然{32}安装了R
,但在环境变量中添加了路径。
甚至可以使用命令
通过命令行运行R代码Rscript xxx.R
确切的错误是: -
Caused by: java.io.IOException: Cannot run program "C:\Users\gkumar\AppData\Local\Temp\spark-89859197-b46a-415a-aa61-975845629bb6\userFiles-d86f1867-d200-4b69-bab0-4876b8e24428\finddistance.R": CreateProcess error=193, %1 is not a valid Win32 application