无法获得Master Kerberos主体作为Talend Batch Jobs的续订者

Question

我们正在尝试使用talend批处理（spark）作业来访问Kerberos集群中的配置单元，但我们得到以下内容＆＃34;无法获得Master Kerberos主体用作续订器＆＃34;错误。

通过在talend中使用标准作业（非spark），我们可以毫无问题地访问hive。

以下是观察结果：

1. 当我们运行spark工作时，talend可以连接到hive Metastore并验证语法。如果我提供错误的表格，请参阅 名称确实返回＆＃34;表未找到＆＃34;。
2. 当我们从没有数据的表中选择count（*）时返回 ＆＃34; NULL＆＃34;但是如果Hdfs（表）中存在某些数据则失败并显示错误 ＆＃34;无法获得Master Kerberos主席作为续订用户＆＃34;。

我不确定导致令牌问题的确切问题是什么。可能有人帮助我们了解根本原因。

如果我使用spark批处理作业读取/写入hdfs，那么还可以添加一个而不是hive，因此只有问题在于hive和Kerberos。

Answer 1

您应该在类路径中包含hadoop配置（：// path / hadoop-configuration）。您应该在该hadoop配置目录中包括所有配置文件，而不仅仅是core-site.xml和hdfs-site.xml文件。它发生在我身上，这解决了问题。