我正在尝试将Apache Flink Scala项目与Apache Kafka 1.0.0集成。当我尝试在build.sbt文件中添加flink-connector-kafka包时,我收到一条错误消息,说它无法解析它。
当我查看maven存储库中可用的选项时,对于任何高于0.10.2的版本,Apache Kafka 2.11-1.0.0都没有可用的maven依赖
val flinkVersion = "1.4.1"
val flinkDependencies = Seq(
"org.apache.flink" %% "flink-scala" % flinkVersion % "provided",
"org.apache.flink" %% "flink-streaming-scala" % flinkVersion % "provided")
"org.apache.flink" %% "flink-connector-kafka" % flinkVersion)
有没有人知道如何正确集成这些版本,以便我可以将Apache Flink 1.4连接到Apache Kafka 2.11-1.0.0,因为我似乎没有尝试工作(并且我不希望降级我连接的Kafka版本至)。
答案 0 :(得分:3)
这应该有效。尝试:
val flinkVersion = "1.4.2"
libraryDependencies ++= Seq(
"org.apache.flink" %% "flink-streaming-scala" % flinkVersion,
"org.apache.flink" %% "flink-connector-kafka-0.11" % flinkVersion
)
答案 1 :(得分:1)
尝试
org.apache.flink" % "flink-connector-kafka-0.11_2.11" % "1.4.0
flink-connector-kafka-0.11_2.11
是Flink最新推出的Kafka连接器。
来源:https://search.maven.org/#search%7Cga%7C1%7Cflink%20kafka%20connector,https://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22org.apache.flink%22%20AND%20a%3A%22flink-connector-kafka-0.11_2.11%22
Kafka 1.0代理向后兼容0.11和0.10 API。