适用于Spark Streaming的Kafka连接器版本

Question

可以下载的最新版本的Kafka是Kafka 2.1.0。但为了在Spark Streaming或Spark Structured Streaming中使用Kafka，我们分别使用以下连接器：

spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11

我的问题是，似乎连接器适用于Kafka版本0.10.0.0，因为连接器的名称包括0-10。这里有我不了解的东西吗，或者我们真的在使用适用于Kafka较旧版本的连接器？

Answer 1

对于Spark Structure Streaming 2.4，使用Kafka Client 2.0。

0-10表示它与0.10或更高版本的Kafka Brokers兼容。

您可以在Spark项目https://github.com/apache/spark/blob/branch-2.4/external/kafka-0-10-sql/pom.xml#L33的pom.xml中对其进行检查