从Spark集群持久化到Kerberized HDFS

Question

我当前的设置：

• Spark版本2.3.1（在Windows上运行的群集）使用Spark Secret（基本）。
• Hdfs（在Linux上运行的集群）进行了kerberized。

不理想！但是有一个很好的理由说明为什么我不能在两个集群中使用同一组机器。

我能够从独立的Spark应用程序读取/写入Hdfs，但是当我尝试在Spark群集上运行类似的代码时，会收到身份验证错误。

  

java.io.IOException：发生本地异常失败：java.io.IOException：   org.apache.hadoop.security.AccessControlException：客户端无法   通过以下方式进行认证：[TOKEN，KERBEROS];主机详细信息。...

Answer 1

另一个群集节点在哪里？哪个用户在集群模式下运行spark？该用户是否有权访问keytab？我认为可能是权限问题或错字。