使用两台不同的Windows机器设置Spark独立集群

时间:2018-07-04 14:38:55

标签: apache-spark

我想使用与从属设备具有相同wifi网络的两台不同计算机(Windows 10)来建立一个Apache Spark独立集群。 我可以使用Windows bash(Linux子系统)成功设置主机,并从同一台计算机连接一个从机。

问题是当我尝试使用主机的本地IP连接来自其他计算机(相同wifi)的从机时。我什至暂时打开了两台机器的所有端口,并使用主机的本地IP来从从机查看火花ui。但是仍然尝试在master-local-ip:7077上设置从属服务器。

我相信正确的方法是在它们之间使用无密码的ssh,但是我不确定如何使用Windows bash为本地IP地址配置它。我试图创建密钥,当我执行ssh-copy-id时,连接被拒绝。

有什么建议吗?

0 个答案:

没有答案