Question

我目前正在开发一个使用Hadoop集群的未来项目。我需要找到有关集群安全性的信息。

我找到了API Apache Knox Gateway，这似乎是我们所需要的。我们现在与Cloudera 4.5合作。将来，我们将升级到Cloudera 5.

我的问题是Knox似乎与Cloudera 4.5（http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html）不兼容。

WebHDFS                   2.4.0 
WebHCat/Templeton         0.13.0    0.12.0  
Ozzie                     4.0.0
HBase/Stargate            0.98.0
Hive (via WebHCat)        0.13.0
Hive (via JDBC)           0.13.0

（http://knox.apache.org/books/knox-0-4-0/knox-0-4-0.html#Quick+Start）

根据该网站，这是唯一测试的版本。有没有人有这个API和Cloudera 4.5的经验？

如果它不起作用，是否有任何解决方案可以使群集安全？

Answer 1

首先，Apache Knox是一种在群集周边提供REST API访问安全性的方法。当真正需要时，它不能替代Hadoop集群中的kerberos安全性。它继续补充支持kerberos的集群，并将REST API的范围扩展到企业中。它还为最终用户访问提供了一些额外的身份解决方案集成。

如果您想要的是真正的Hadoop安全性，那么您需要查看Hadoop kerberos部署选项。

现在，至于knox / CDH兼容性......

不幸的是，Knox 0.4.0支持的服务组件版本没有很好地映射到CDH 4.5版本。看起来即便0.3.0版本也比CDH 4.5更新。

虽然HBase仍然落后，但CDH 5.0似乎排得更好。从我所看到的here - 我只能假设这是准确的。

我的建议是尝试针对CDH 5的Apache Knox并让Knox社区遇到任何困难 - 我们可以帮助解决这些问题。根据您的REST需求 - 可能有足够的对齐来获得您需要的东西。

Apache Knox Gateway与Cloudera 4.5兼容吗？

1 个答案: