可以使用kafka 0.10.0的火花流1.5.1？

Question

我可以使用kafka 0.10.0的spark streaming 1.5.1吗？ 网站spark.apache.org建议火花流应该与kafka 0.8.2一起使用;

我只想知道如果我使用kafka 0.10.0和spark 1.5.1？

有人可以帮忙。

Answer 1

我认为这是可能的，但有一些限制。例如，Apache spark 1.5.x不支持像kerberized环境中的流式传输等功能。

Answer 2

此API spark-streaming-kafka-0-10 仍处于实验状态。 你可以用它。但是你可能会有一些惊喜，因为它尚未稳定。 请点击以下链接：

https://github.com/jerryshao/spark-streaming-kafka-0-10-connector

这是Spark 1.x Streaming的Kafka 0.10连接器。希望它会奏效。