我想在家里,在我的商用电脑上试用H2O。如何将它们加入群集?
我是否需要先创建Hadoop集群?
我在哪里可以找到可以帮助我的文档?
答案 0 :(得分:8)
不,不需要Hadoop集群。这是文档for starting nodes from the commandline。 (我还发现阅读EC2设置文档很有用,然后浏览它们提供的EC2脚本。)
基本上,您需要创建一个 flatfile ,这是一个简单的文本文件,列出了IP地址和群集中每个节点的端口。您可以为集群命名,我喜欢将具有相同名称的flatfile命名为“lantest.txt”。
然后你需要在每台机器上获取h2o.jar,并将你的flatfile放在同一个目录中(同样,在每台机器上)。然后在每台机器上启动它:
java -Xmx2G -ea -jar h2o.jar -name lantest -ip 192.168.x.y -port 54321 -flatfile lantest.txt
保持控制台窗口打开,因为日志消息将写入其中。
通常,您为每台计算机更改.x.y
,但其他所有内容都保持不变。 -Xmx2G
说我给每台机器2GB;您可能想要调整它(但每个节点必须完全相同。)
其他必须完全相同的是h2o.jar的版本:次要版本差异不够好,因为它检查md5校验和!
你可能会遇到的另一件事是防火墙。每个节点必须能够在端口54321和54322上看到每个其他节点。因此,在每台机器上打开防火墙上的那些端口。 (在Windows上,我还必须打开Java访问权限。)