我有一个特别的Kafka HBase Sink连接器问题,对此我将不胜感激。
这是一个3节点的Kafka集群-2个节点用于分布式连接,1个节点用于架构注册表+ kafka流。 Kafka版本为0.10.1,是Hortonworks平台2.6.3的一部分。也有SSL和Kerberos身份验证设置。最重要的是,我有一个定制的Kafka应用程序,该应用程序接收消息,通过Kafka流处理消息并将其传递到HBase中。
流程模型为:
1)输入主题;
2)处理(在Kafka流中);
3)输出主题;
4)HBase接收器连接器;
5)HBase。
1)中传递的消息已成功传输和处理,直到包含3)为止。然后,尽管接收器连接器工作正常,但没有消息传递到HBase。
话虽这么说,我用单元测试测试了我们的自定义应用程序模型,并使用其自身的基本设置创建了嵌入式Kafka集群,并且测试成功。这很可能表明连接问题来自某些群集设置。
为您提供的信息,我观察到了三点具体信息:
标准的使用者控制台功能能够成功使用接收器主题中的消息;
没有建立接收器连接的使用者ID;
连接过程成功启动,但由于未记录的原因而停止,并且不调用WorkerSinkTask java类,实际上是在其中写入HBase的。
其他要点是可能配置错误的整个SSL加密和Kerberos身份验证设置。
万一有人遇到这种情况,我将不胜感激任何有帮助的意见。
迪米塔尔