kafka代理中处于CLOSE WAIT状态的TCP端口过多

Question

kafka代理中的TCP连接过多，处于CLOSE_WAIT状态，导致kafka客户端中出现DisconnectionException。

  

tcp6 27 0 172.31.10.143:9092 172.31.0.47:45138已建立-
  tcp6 25 0 172.31.10.143:9092 172.31.46.69:41612 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.0.47:45010 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.46.69:43000 CLOSE_WAIT-
  tcp6 194 0 172.31.10.143:8080 172.31.20.219:45952 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.20.219:48006 CLOSE_WAIT-
  tcp6 1 0 172.31.10.143:9092 172.31.0.47:44582 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.46.69:42828 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.46.69:41934 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.46.69:41758 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.46.69:41584 CLOSE_WAIT-
  tcp6 25 0 172.31.10.143:9092 172.31.46.69:41852 CLOSE_WAIT-
  tcp6 1 0 172.31.10.143:9092 172.31.0.47:44342 CLOSE_WAIT-

debezium错误

  

connect-prod | 2019-02-14 06：28：54,885信息|| [Consumer clientId = consumer-3，groupId = 4]将提取请求（sessionId = 1727876188，时代= INITIAL）发送到节点2时出错：org.apache.kafka.common.errors.DisconnectException。 [org.apache.kafka.clients.FetchSessionHandler] connect-prod | 2019-02-14 06：28：55,448信息|| [Consumer clientId = consumer-1，groupId = 4]将提取请求（sessionId = 1379896198，epoch = INITIAL）发送到节点2时出错：org.apache.kafka.common.errors.DisconnectException。 [org.apache.kafka.clients.FetchSessionHandler]

这可能是什么原因？

Answer 1

这似乎是Kafka 2.1.0中的一个已知问题。

https://issues.apache.org/jira/browse/KAFKA-7697

我认为停在Close_wait中的连接是真正问题的副作用。

此问题已在Kafka 2.1.1版中修复，应在几天内发布。期待它。