我一直试图使融合的HDFS接收器连接器正常工作,但没有成功。我有一个融合版本5.2.2的分布式kafka连接群集(3个节点),与运行kafka 2.3.0的5节点kafka群集进行通讯。
我有一个事件生成器,将事件写入具有3个分区和复制因子1的主题。我看到事件出现在HDFS中,并且一切看起来正确。
但是,对于具有不同分区数或不同复制因子的主题,没有任何内容写入HDFS。相反,我得到如下错误:
Node 121 was unable to process the fetch request with (sessionId=378162138, epoch=7242): INVALID_FETCH_SESSION_EPOCH. (org.apache.kafka.clients.FetchSessionHandler:381)
这些事件出现在kafka连接日志中,每次尝试提交时似乎都出现了其中一个。
对于具有3个分区,复制因子1的主题,一切正常。
对于具有3个分区,复制因子2的主题,没有任何内容写入HDFS。
对于具有50个分区且复制因子为1的主题,不会写入任何内容。
实际上,如果我增加复制因子或分区数,则HDFS不会写入任何内容。
我似乎找不到合适的配置来完成这项工作。我应该注意哪些设置?