什么是火花流卡夫卡的必要版本？

Question

我正在使用 spark-core_2.10-2.0.2 和 kafka_2.10-0.10.0.1 。我想使用 spark-streaming-kafka 。

我应该使用哪种版本的 spark-streaming-kafka ？

Answer 1

当您使用kafka 0.10.x时，您的build.sbt将包含类似内容：

libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-10_2.11" % "2.0.0"

spark-kafka-connector的支持信息为here。整合信息为here。