Kafka连接HDFS接收器错误创建WAL失败

Question

我正在使用Kafka connect HDFS。 当我尝试运行连接器时，出现以下异常：

  

错误无法创建WAL编写器：无法为客户端[IP]的[DFSClient_NONMAPREDUCE_208312334_41]创建文件[/ path / log]，因为此文件已经由[DFSClient_NONMAPREDUCE_165323242_41]创建。

有什么建议吗？

Answer 1

唯一对我们有用的解决方法是清理 hdfs 中的 wal 日志位置并重新启动连接器。

Answer 2

除了清理 wal 日志和连接器重新启动的解决方法。我们还在测试将 hadoop 本地版本 2.73 升级到 2.7.7，并将 kafka-hdfs 版本升级到我们接收器连接器的 5.5，目前正在测试中，到目前为止，wal 问题没有再次出现。