从主节点连接到EMR核心节点上运行的H2o服务器时出错。
import h2o
h2o.connect(url="http://IP:54321")
错误跟踪
Connecting to H2O server at http://IP:54321... successful.
Traceback (most recent call last):
File "/home/hadoop/TataCliqEMR/app/__init__.py", line 3, in <module>
h2o.connect(ip="IP", port=54321)
File "/usr/local/lib/python3.4/site-packages/h2o/h2o.py", line 86, in connect
h2oconn.cluster.show_status()
File "/usr/local/lib/python3.4/site-packages/h2o/backend/cluster.py", line 190, in show_status
["H2O internal security:", self.internal_security_enabled],
File "/usr/local/lib/python3.4/site-packages/h2o/backend/cluster.py", line 121, in internal_security_enabled
return self._props["internal_security_enabled"]
KeyError: 'internal_security_enabled'
答案 0 :(得分:2)
原因是H2O后端和客户端版本不兼容(在这种情况下,客户端是 h2o Python模块)。 H2O后端版本(群集上运行的Java进程)和本地使用的Python h2o 模块必须相同。
您的服务器("http://IP:54321"
)似乎正在运行较旧版本的H2O。由于您已经运行了正在尝试连接的H2O集群,因此最好的解决方案可能是安装不同版本的 h2o Python模块(而不是相反)。
如果您不知道服务器的运行版本,那么您可以查看日志,或者您可以尝试h2o.init(ip=IP)
它应该返回正确的“版本不匹配”错误,它会告诉您两个版本
要下载特定版本的 h2o Python模块,您可以在Changes.md中查找版本名称(例如“图灵”),然后转到下载页面网址。例如,如果我想下载3.10.4.2,我会在上面链接的Changes.md上搜索“3.10.4.2”,看看版本名称是“Ueno”。使用该信息,您可以构建该版本的下载页面的URL,例如:
http://h2o-release.s3.amazonaws.com/h2o/rel-ueno/2/index.html
或者您也可以找出.whl
文件的确切位置:
pip install http://h2o-release.s3.amazonaws.com/h2o/rel-ueno/2/Python/h2o-3.10.4.2-py2.py3-none-any.whl
写这个回复让我意识到找到旧版本的链接并不容易,所以我添加了JIRA来解决这个问题。