Python无法连接到spark进行调试

时间:2018-03-28 14:25:14

标签: python apache-spark intellij-idea

我正在运行一个spark python程序,需要调试应用程序。我做了一个spark-submit,我的火花正在等待调试端口连接。

我的应用程序在Intellij中。创建了一个远程python调试配置,并尝试将其附加到spark侦听端口,但它说

Failed to find free socket port

请告诉我这里的问题。

1 个答案:

答案 0 :(得分:0)

我终于能够解决这个问题了。您需要首先启动intellij调试器,让它等待某人在调试器上连接然后执行spark提交。还要在代码的开头添加行

import pydevd
pydevd.settrace('localhost', port=7777, stdoutToServer=True, stderrToServer=True)