在PySpark中创建DataFrame会产生pyj4错误

时间:2016-11-19 20:10:14

标签: apache-spark pyspark

我在Windows 7环境中工作,在Windows命令提示符下运行我的代码。我现在正在运行一组非常简单的代码。

data = [('Alice', 1), ('Bob', 2)]
df = sqlContext.createDataFrame(data)

这给了我错误

 py4j.protocol.Py4JJavaError: An error occurred while calling o23.applySchemaToPythonRDD.
: java.lang.RuntimeException: java.lang.RuntimeException: Error while running command to get file permissions : ExitCodeException exitCode=-1073741515:
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)
    at org.apache.hadoop.util.Shell.run(Shell.java:479)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:773)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:866)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:849)
    at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:1097)
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.

后面有更多错误输出,但实际错误是第一行。我在其他帖子中查找了这个错误,但它们并不涉及实际创建数据帧。

我也查看了运行时异常,看到尝试获取文件权限时出错。我尝试在管理员模式下运行我的命令提示符,但它没有帮助。

有没有人有任何想法可能导致这个?

0 个答案:

没有答案