Kerberized kafka集群与使用Spring引导的hadoop集群之间的数据流

Question

我有一个流用例来开发一个Spring启动应用程序，它应该从kafka主题读取数据并放入hdfs路径，我为kafka和hadoop提供了两个不同的集群。 应用程序工作正常，没有在kafka集群中进行kerberos身份验证，并且hadoop被kerberized。

当两个群集都被kerberized时开始出现问题，同时我只能对一个群集进行身份验证。

我做了很少的分析/谷歌搜索，我找不到多少帮助， 我的理论是我们无法在同一个jvm实例上登录/验证两个kerberized集群，因为我们需要在代码中设置REALM和KDC细节，这些细节不是客户端特定的，而是特定于jvm，

可能会发生我没有使用正确的API，我对Spring启动很新。

我知道我们可以通过在群集之间设置跨领域信任来实现这一目标，但我正在寻找应用级解决方案。

我收到的问题很少

1. 是否可以在同一个jvm实例上登录/验证两个单独的kerberized集群，如果可能的话？请帮帮我，使用Spring boot是首选。
2. 将数据从kafka集群流式传输到hadoop集群的最佳解决方案是什么。

Answer 1

  

将数据从kafka集群流式传输到hadoop集群的最佳解决方案是什么。

Kafka的Connect API用于与Kafka进行源和目标的流式集成，仅使用配置文件 - 无需编码！ HDFS connector是您想要的，并支持Kerberos身份验证。它是开源的，可用standalone或Confluent Platform的一部分。