HDFS委托令牌错误

Question

我正在尝试从Hadoop，Spark，falcon之类的hive服务用户处运行作业，但是当我从这些用户处执行命令时，会引发错误：

HDFS delegation token not found in cache（针对该用户）。

示例：我已经使用falcon CLI创建了一个falcon集群实体，但是当我提交我的实体时，它会为falcon用户抛出相同的错误。

Answer 1

看起来像是在Namenode的待机->活动过渡过程中发生的问题。 Namenode尚未完成对Editlog的跟踪，该日志包含有关生成相应令牌的信息，因此未能在其本地缓存中找到该令牌。

一个可能的解决方案是让客户端在这种情况下重试相同的操作。因此，如果Namenode在过渡期间找不到令牌，则可以将InvalidToken异常包装在RetriableException中，然后要求客户端重试。