我正在使用带有spark独立集群的python 2.7。
当我在运行python脚本的同一台机器上启动master时。它工作顺利。
当我在远程计算机上启动主服务器时,尝试在本地计算机上启动spark上下文以访问远程spark主服务器。没有任何反应,我得到一个按摩说,任务没有得到任何资源。
当我访问主人的UI时。我看到了这份工作,但没有任何反应,就在那里。
如何通过本地python脚本访问远程spark主设备?
感谢。
编辑: 我读到为了做到这一点,我需要以集群模式(而不是客户端模式)运行集群,我发现当前standalone mode does not support this for python application。
想法?