Question

我正在尝试在Windows 10下使用PyBuilder运行PySpark单元测试

pyb_ clean install

所有必需的库都包含在PYTHONPATH中，并且它们可用。

但是在运行时我收到以下错误：

..\..\src\unittest\python\client_tests.py:11: in <module>
    from ut_setting import spark
..\..\src\unittest\python\ut_setting.py:75: in <module>
    spark = SparkSession.builder.master("local[4]").getOrCreate()
..\python\pyspark\sql\session.py:169: in getOrCreate
    sc = SparkContext.getOrCreate(sparkConf)
..\python\pyspark\context.py:307: in getOrCreate
    SparkContext(conf=conf or SparkConf())
..\python\pyspark\context.py:115: in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
..\python\pyspark\context.py:256: in _ensure_initialized
    SparkContext._gateway = gateway or launch_gateway(conf)
..\python\pyspark\java_gateway.py:82: in launch_gateway
    proc = Popen(['spark-submit.cmd', "-f"])
D:\Python27\Lib\subprocess.py:672: in __init__
    errread, errwrite)
D:\Python27\Lib\subprocess.py:882: in _execute_child
    startupinfo)
E   WindowsError: [Error 5] Access is denied

我还尝试使用不同的方法：使用管理员权限运行，转移到另一个驱动器等等。

如果我在Linux上做同样的事情，它可以正常工作而无需任何调整。

你有什么想法吗？

谢谢！

Answer 1

试试这个：

右键单击“开始”按钮，然后单击“命令行（管理员）”（或“PowerShell（管理员）”）
运行安装命令。
...
PROFIT！

Answer 2

谢谢你们！

我设法解决了这个问题。

主要原因是我尝试为单个进程设置管理员权限，而我需要将权限设置为整个pyspark目录。

右键单击目录 - ＆gt;属性 - ＆gt;安全选项卡我已设置＆＃34;完全控制＆＃34;为了每个人＆＃34;并启用了继承。

在Python中使用PySpark：WindowsError：[错误5]访问被拒绝

2 个答案: