如何保护Hadoop中的特定数据

Question

我们将所有客户数据存储在hadoop中。我们确实有一些我们希望强制执行的特定安全策略。例如有一个客户HBase表，它存储了我们所有客户的信息。有些VIP客户未经特别授权不能直接曝光。例如，只有CEO，CTO或CIO才有权查看VIP客户的信息。

目前，我们正在考虑将所有原始数据保存在HBase中，这是事实的唯一要点，并在应用程序级别过滤掉VIP客户。通常情况下，如果它是一个RDBMS，我们就会这样做。

只是想知道是否有任何经验或最佳实践。

Answer 1

如果 HBase 是您的目标实施技术，那么您现在有很多不错的选择。在细粒度技术级别，您可以应用cell level security，类似于accumulo的做法。

例如，这里摘录自描述如何为特定“单元格”（行和列的交集）的用户或组设置ACL的blog：

  

当存储或变异单元格时，HBase用户现在可以使用向后兼容的HBase API扩展来添加ACL。

     

Mutation#setACL(String user, Permission perms);

     

喜欢在桌旁或   列族级别，主体被授予对单元格的权限。任何   任意数量的用户（或使用@group的组的权限数）   符号）可以添加。

这也是关于这个主题的优秀presentation。

除此之外，如果您对Hadoop的更高级别/行级别的开源安全框架感兴趣，您可以查看Knox，Rhino以及Sentry（孵化）。

希望这有帮助。

Answer 2

我不确定，但也许你可以为VIP提供一个单独的数据库（或表格）。信息。然后，您只需为每个数据库部署用户身份验证。