HBase Kerberos连接更新策略

时间:2015-10-19 09:36:16

标签: hbase kerberos

最近我在我的群集中启用了kerberos,一切正常,直到我的kerberos登录到期,比如12小时。此时我创建的任何连接,使用这些连接创建的任何表都会在我使用它们时抛出。这可能会使我的应用程序崩溃,具体取决于我如何处理它。

我不介意崩溃,因为我的应用程序是由滑块管理的,当它下降时会复活应用程序,但这只会在HBase被“使用”时发生(即我在一个桌子上调用一个方法)一个现在过时的连接)可能是由用户交互引起的,这会导致用户体验不佳。

我不希望身份验证实现细节遍及我的应用程序,也不希望更频繁地创建连接对象,因为这是一项代价高昂的操作,会产生大量RPC调用(zookeeper元数据位置启动)用)。

是否有一个共同的策略(最好是在HBase客户端中内置)来管理kerberos身份验证到期并在发生这种情况时更新HBase连接/表?

2 个答案:

答案 0 :(得分:25)

Kerberos TGT具有生存期(例如12小时)和可更新生命期(例如7天)。只要机票仍然有效并且仍然可以续订,您可以申请免费"更新 - 不需要密码 - ,重置终身计数器(例如,12小时再次)。

Hadoop身份验证库为当前TGT的自动续订生成特定的Java线程。它有点难看,使用kinit -R命令行而不是JAAS库调用,但它有效 - 请参阅HADOOP-6656

所以,如果你让Slider在启动时创建一张可更新的票证,并且你可以贿赂你的SysAdmin以提高默认值(参见客户端配置)和最大值(参见KDC conf)可再生的生命周期

~~~~~~~~~~

如果你真的渴望永恒......对不起,但你实际上会有一些编程要做。这意味着专用线程/流程负责或重新创建自动化TGT。

  • Java Way:在启动时,在连接到HBase / HDFS之前,无论如何, 使用loginUserFromKeytab()明确创建UGI然后运行 不时checkTGTAndReloginFromKeytab()
  • Shell Way:启动一个shell,(a)用kinit创建一个TGT(b) 产生一个子流程,定期再次触发kinit(c) 启动您的Java应用程序,然后在/如果您的应用程序终止时杀死子进程

警告:如果某个其他线程碰巧在重新创建TGT时打开或重新打开连接,那么该连接可能会失败,因为缓存在访问它的时间是空的("竞争条件")。下一次尝试将成功,但期望您的日志中出现一些流氓警告。

~~~~~~~~~~

最终建议:您可以为您的应用程序使用私人票证缓存(即,您可以使用相同的Linux帐户在不同Kerberos主体的同一节点上运行多个应用程序),方法是设置{{1}环境变量,只要它是" FILE:"高速缓存中。

答案 1 :(得分:0)

由于这是一个较旧的问题,所以很高兴知道HBase,Hadoop等的版本。

如今,Kerberos票证续订应该只在HBase中有效

请参阅配置步骤-

https://docs.cloudera.com/documentation/enterprise/5-14-x/topics/cdh_sg_hbase_authentication.html#concept_zyz_vg5_nt

请参阅配置为使用TGT更新的HBase客户端示例-

https://github.com/apache/hbase/blob/064f5f1394faa8e84ad64488345e3bf46629ce59/hbase-examples/src/main/java/org/apache/hadoop/hbase/util/ClientUtils.java#L66

(btw,renewTGT = true是默认设置,它实际上是Hadoop Commons代码库的一部分,请参见此处- https://github.com/naver/hadoop/blob/master/hadoop-common-project/hadoop-auth/src/main/java/org/apache/hadoop/security/authentication/client/KerberosAuthenticator.java#L132