Question

我是新来的......很抱歉，如果我问天真的问题!!!

我在Rstudio中使用SparkR。

R版本3.3.2 Spark版本2.0.2

我能够在R studio中成功启动Spark，我可以看到使用webUI。 localhost：4040我的火花正在运行。

但是一旦我尝试创建数据框，就会出现如下错误：

Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
  org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 1, localhost): java.lang.NullPointerException
    at java.lang.ProcessBuilder.start(Unknown Source)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
    at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:873)
    at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:853)
    at org.apache.spark.util.Utils$.fetchFile(Utils.scala:474)
    at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$5.apply(Executor.scala:488)
    at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$5.apply(Executor.scala:480)
    at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:7

任何人都可以帮助我....提前谢谢：）

Answer 1

谢谢你们。我缺少一个文件，可以从git下载，这里是链接：https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

其实我的一个朋友也有同样的问题，只需添加此文件即可正常工作。

在SparkR中创建数据框？

1 个答案: