Question

当我尝试在Cloud Dataproc集群（版本0.2）上使用SparkR时，出现如下错误：

Exception in thread "main" java.io.FileNotFoundException:
/usr/lib/spark/R/lib/sparkr.zip (Permission denied)
at java.io.FileOutputStream.open0(Native Method)
at java.io.FileOutputStream.open(FileOutputStream.java:270)
at java.io.FileOutputStream.<init>(FileOutputStream.java:213)
at
org.apache.spark.deploy.RPackageUtils$.zipRLibraries(RPackageUtils.scala:215)
at
org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:371)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:153)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我该如何解决这个问题，以便使用SparkR？

Answer 1

此问题是由Spark 1.5系列（JIRA here）中的错误引起的。要解决此问题，请通过SSH连接到主节点或使用initialization action在主节点上运行以下命令。

sudo chmod 777 /usr/lib/spark/R/lib

这个问题应该在Spark 1.6中得到修复，Cloud Dataproc最终将在新的图像版本中支持它。

Dataproc上的SparkR（Spark 1.5.x）不起作用

1 个答案: