Question

我从Spark开始，所以不确定我的问题在哪里，并在这里寻找一个有用的提示。我试图在Windows 7机器上运行Spark（pyspark）作为管理员，但它似乎没有工作（我仍然得到WindowsError 5）。见下图：

我已经下载了文件（发布版本为1.2.0，预装了Hadoop 2.4或更高版本），使用tar通过命令行解压缩并在调用bin \ pyspark之前设置IPYTHON = 1。当我调用它时，pyspark会运行，但我会根据图像得到以下错误。

当我尝试调用某些SparkContext对象时，我的名字'sc'未定义。

我安装了python 2.7.8，Spyder IDE，我正处于企业网络环境中。

有没有人知道这里会发生什么？我查了几个问题，比如Why am i getting WindowsError: [Error 5] Access is denied?，但找不到线索。

Answer 1

简言之：

我有同样的问题。对我来说，*.cmd目录中的$spark/bin文件未被标记为可执行文件;请尝试通过以下方式确认：

我在其他网站上找到了解决方法，建议下载hadoop-winutils-2.6.0.zip（抱歉没有链接）。以下是要使用的cmd示例（移动到正确的目录后）：

t:\hadoop-winutils-2.6.0\bin\winutils.exe chmod 777 *

我确实需要运行chmod 777 cmd才能使/tmp/hive可写。祝你好运！

（...新来的 - 抱歉格式不佳）
（更新：马特感谢您修复格式问题！）

根本原因：我通过tar -zxf <file.tgz>在Windows上使用的tar程序不适用提取文件的正确属性。在这种情况下，'可执行'文件没有正确设置。是的，也许我应该更新我的cygwin版本。