在虚拟机上设置spark群集

Question

我安装了2台vm机器并启用了端口转发，因此我可以从主机ssh到guest机器。我在主机上启动了spark独立Master，我的问题是如何设置2台vm机器，以便我可以将它们作为独立工作者使用？ （仅供参考：VM网络适配器连接到NAT。）

Answer 1

我的解决方案：

在工作节点（虚拟机）上

• 使用两个网络适配器：NAT（用于Internet），仅限主机（用于访问） 资源）。 请参阅how to setup host-only on vm

• 使用与主机相同的用户设置vm机器。

在主节点（主机）上

• 在此处添加此条目SPARK_MASTER_HOST = {IP ADDRESS} conf / spark-env.sh将spark master绑定到主机ip地址。
• 将工作节点（vm机器）的IP地址添加到conf / slaves

• 将Master配置为无密码ssh到Workers：

  ssh-keygen
  .ssh/ssh-copy-id -i ./id_rsa.pub {Worker IP Address}
  

• 启动spark群集：./sbin/start-all.sh