将本地python脚本连接到远程spark master

时间:2017-08-25 10:51:14

标签: python python-2.7 apache-spark cluster-computing

我正在使用带有spark独立集群的python 2.7。

当我在运行python脚本的同一台机器上启动master时。它工作顺利。

当我在远程计算机上启动主服务器时,尝试在本地计算机上启动spark上下文以访问远程spark主服务器。没有任何反应,我得到一个按摩说,任务没有得到任何资源。

当我访问主人的UI时。我看到了这份工作,但没有任何反应,就在那里。

如何通过本地python脚本访问远程spark主设备?

感谢。

编辑: 我读到为了做到这一点,我需要以集群模式(而不是客户端模式)运行集群,我发现当前standalone mode does not support this for python application

想法?

1 个答案:

答案 0 :(得分:3)

为了做到这一点,我需要以集群模式(而不是客户端模式)运行集群,我发现here当前独立模式不支持python应用程序。