除了在hadoop集群中设置的时间之外,如何为长时间运行的应用程序续订委托令牌

时间:2016-07-05 19:27:28

标签: hadoop hdfs yarn delegation apache-apex

我有一个在我的Hadoop环境中运行的Apache Apex应用程序。

我对应用程序没有任何问题,但是它在7天后失败了。而且,我意识到这是因为任何应用程序的集群级别设置。

有没有办法,我可以在某个时间间隔内更新授权令牌,以确保工作连续不断地运行!!

我可以在网上找到有关如何续订hdfs委托令牌的任何资源!有人可以分享你的知识吗?

1 个答案:

答案 0 :(得分:0)

问题在Apex documentation中提到。 它还提供2个细节解决方案。 Hadoop系统的非侵入性是选择“自动刷新方法”。 基本上,您需要将keytab文件复制到HDFS并配置

<property>
    <name>dt.authentication.store.keytab</name>
    <value>hdfs-path-to-keytab-file</value>
</property>

dt-site.xml 中。

HTH