对FIW​​ARE-Cosmos头部节点的SSH访问

时间:2016-05-24 12:22:49

标签: hadoop hive fiware fiware-cosmos

我正在关注Hadoop / FIWARE-Cosmos的this指南,我对Hive部分有疑问。

我可以通过SSH访问旧群集的(cosmos.lab.fiware.org)头节点,但我无法为新群集执行此操作。我尝试了storage.cosmos.lab.fiware.orgcomputing.cosmos.lab.fiware.org,但未能连接。

我尝试通过SSH连接的目的是通过Hive CLI测试我们数据的Hive查询。在没有这样做之后,我检查了并且能够使用telnet连接到computing.cosmos.lab.fiware.org的10000端口。我猜Hive是通过那个端口服务的。这是我们在新集群中使用Hive的唯一方法吗?

1 个答案:

答案 0 :(得分:2)

新的群集对尚未启用ssh访问。这是因为用户倾向于在“旧”群集中安装大量内容(甚至与大数据无关),后者在您提及的情况下启用了ssh访问。因此,新的集群只能通过公开的API使用:WebHDFS用于数据I / O,Tidoop用于MapReduce。

据说,Hive Server也在运行,它应该在你提到的10000端口中暴露一个远程服务。我说“它应该是”,因为它正在运行一个基于OAuth2的实验验证器模块,如WebHDFS和Tidoop。从理论上讲,从Hive客户端连接到该端口就像使用Cosmos用户名和有效令牌一样简单(与WebHDFS和/或Tidoop相同)。

那么Hive远程客户端呢?嗯,这是您的应用程序应该实现的。无论如何,我已经在Cosmos回购中上传了一些实现示例。例如:

https://github.com/telefonicaid/fiware-cosmos/tree/develop/resources/java/hiveserver2-client