我有kafka经纪人从0.8升级到0.11，现在我正在尝试升级火花流工作代码以与新kafka兼容 - 我正在使用spark 1.6.2 - 。
我搜索了很多关于升级的步骤我没有找到官方或非官方的文章。
我发现唯一有用的文章是this one，但是它提到了火花2.2和卡夫卡0.10，但我有一句话说
但是，由于较新的集成使用新的Kafka使用者API而不是简单的API，因此使用方法存在显着差异。此版本的集成标记为实验版，因此API可能会发生变化
有没有人尝试将spark streaming 1.6与kafka 0.11集成，或者将spark首先升级到2.X更好，因为这个版本混合的spark-streaming和kafka缺乏关于和支持的信息？
答案 0 :(得分：0)
经过大量调查后，发现没有办法做这个动作，因为火花流只支持kafka版本高达0.10（与kafka 0.11,1.0.X有重大差异）。
这就是为什么我决定从火花流式转向使用新的kafka-streaming api，简单地说它非常棒，使用简单，非常灵活，而且最大的优点是：它是一个LIBRARY，你可以简单地将它添加到你的项目中，而不是一个包装代码的框架。
Kafka-streaming api几乎支持spark提供的所有功能（聚合，窗口，过滤，MR）。