融合的HDFS接收器连接器出现INVALID_FETCH_SESSION_EPOCH错误

时间:2019-07-15 19:23:17

标签: apache-kafka apache-kafka-connect confluent

我一直试图使融合的HDFS接收器连接器正常工作,但没有成功。我有一个融合版本5.2.2的分布式kafka连接群集(3个节点),与运行kafka 2.3.0的5节点kafka群集进行通讯。

我有一个事件生成器,将事件写入具有3个分区和复制因子1的主题。我看到事件出现在HDFS中,并且一切看起来正确。

但是,对于具有不同分区数或不同复制因子的主题,没有任何内容写入HDFS。相反,我得到如下错误:

Node 121 was unable to process the fetch request with (sessionId=378162138, epoch=7242): INVALID_FETCH_SESSION_EPOCH. (org.apache.kafka.clients.FetchSessionHandler:381)

这些事件出现在kafka连接日志中,每次尝试提交时似乎都出现了其中一个。

对于具有3个分区,复制因子1的主题,一切正常。

对于具有3个分区,复制因子2的主题,没有任何内容写入HDFS。

对于具有50个分区且复制因子为1的主题,不会写入任何内容。

实际上,如果我增加复制因子或分区数,则HDFS不会写入任何内容。

我似乎找不到合适的配置来完成这项工作。我应该注意哪些设置?

0 个答案:

没有答案