使用Kakfa的Spark Streaming

时间:2017-07-17 17:18:59

标签: scala

我正在尝试使用Kafka作为我的来源进行火花流,但我收到如下错误:

  

线程中的异常" main" java.lang.NoSuchMethodError:   kafka.consumer.SimpleConsumer(Ljava /郎/字符串; IIILjava /郎/字符串; Lorg /阿帕奇/卡夫卡/普通/协议/ SecurityProtocol):V

我的Kafka版本是Kafka_2.11-0.11,我使用带有scala 2.11的spark 2.0.0。我无法在maven或任何地方找到上述兼容的jar。上面提到的jar可以使用较低版本,但不能使用上述配置。 我使用SCALA IDE运行代码,scala库为2.11.8。此代码成功运行一次但在重新运行代码后不知道会抛出上述错误。

如果您能分享您的想法并提供一些解决方案,那将非常有帮助。谢谢,并提前。请回复!!

希望得到答案!!!

1 个答案:

答案 0 :(得分:0)

我认为问题在于你没有主要方法。某些语言(如java和c)要求您使用main方法并将代码放入其中。这就是它说"main": no such method"的原因。因此,您需要为除导入语句,函数等之外的所有内容创建主方法。希望这会有所帮助。