Apache Faf 1.4与Apache Kafka 1.0.0

时间:2018-03-03 13:25:01

标签: apache-kafka sbt apache-flink flink-streaming

我正在尝试将Apache Flink Scala项目与Apache Kafka 1.0.0集成。当我尝试在build.sbt文件中添加flink-connector-kafka包时,我收到一条错误消息,说它无法解析它。

当我查看maven存储库中可用的选项时,对于任何高于0.10.2的版本,Apache Kafka 2.11-1.0.0都没有可用的maven依赖

val flinkVersion = "1.4.1"
val flinkDependencies = Seq(
    "org.apache.flink" %% "flink-scala" % flinkVersion % "provided",
    "org.apache.flink" %% "flink-streaming-scala" % flinkVersion % "provided")
    "org.apache.flink" %% "flink-connector-kafka" % flinkVersion)

有没有人知道如何正确集成这些版本,以便我可以将Apache Flink 1.4连接到Apache Kafka 2.11-1.0.0,因为我似乎没有尝试工作(并且我不希望降级我连接的Kafka版本至)。

2 个答案:

答案 0 :(得分:3)

这应该有效。尝试:

val flinkVersion = "1.4.2"

libraryDependencies ++= Seq(
  "org.apache.flink" %% "flink-streaming-scala" % flinkVersion,
  "org.apache.flink" %% "flink-connector-kafka-0.11" % flinkVersion
)

答案 1 :(得分:1)

尝试

org.apache.flink" % "flink-connector-kafka-0.11_2.11" % "1.4.0

flink-connector-kafka-0.11_2.11是Flink最新推出的Kafka连接器。

来源:https://search.maven.org/#search%7Cga%7C1%7Cflink%20kafka%20connectorhttps://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22org.apache.flink%22%20AND%20a%3A%22flink-connector-kafka-0.11_2.11%22

Kafka 1.0代理向后兼容0.11和0.10 API。