我有2台计算机,我想用它们创建一个Spark集群。由于其中一台计算机应该是主计算机,而一台应该是从计算机,那么就速度而言,它仅等于一台计算机吗?我可以将其中一个设置为从属主机吗?这2台计算机可以是Windows和linux系统吗?
答案 0 :(得分:0)
绝对!在星火术语上,您可以设置其中一个作为工作节点来运行驱动程序,而另一个仅运行工作节点。
关于操作系统,Spark可以在Linux上作为开发和可部署系统很好地运行。对于Windows,我建议仅将其用作开发环境。
答案 1 :(得分:0)
是的,您还可以将主节点用作从节点 也就是说,在这种情况下,您有2个节点和1个主节点和2个从节点
您可以使用一个Linux和一个Windows系统
您可以点击以下链接进行安装 https://medium.com/ymedialabs-innovation/apache-spark-on-a-multi-node-cluster-b75967c8cb2b
对于Windows机器 https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/