Question

我是spark streaming和kafka的新手，我不明白这个运行时异常。我已经设置了kafka服务器。

$(document).ready(function() {
   $('.answer').on('click',function(){
      var selectedAnswer = $(this).attr('value')
      //now you can make the needed check here
   })
})

这是我的代码

    Exception in thread "JobGenerator" java.lang.NoSuchMethodError: org.apache.spark.streaming.scheduler.InputInfoTracker.reportInfo(Lorg/apache/spark/streaming/Time;Lorg/apache/spark/streaming/scheduler/StreamInputInfo;)V
at org.apache.spark.streaming.kafka.DirectKafkaInputDStream.compute(DirectKafkaInputDStream.scala:166)
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1$$anonfun$1$$anonfun$apply$7.apply(DStream.scala:350)
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1$$anonfun$1$$anonfun$apply$7.apply(DStream.scala:350)
at scala.util.DynamicVariable.withValue(DynamicVariable.scala:57)
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1$$anonfun$1.apply(DStream.scala:349)
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1$$anonfun$1.apply(DStream.scala:349)
at org.apache.spark.streaming.dstream.DStream.createRDDWithLocalProperties(DStream.scala:399)
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1.apply(DStream.scala:344)
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1.apply(DStream.scala:342)
at scala.Option.orElse(Option.scala:257)

这个项目的目的是通过使用kafka队列从twitter流计算10个bests主题标签。代码工作没有kakfa。你知道这是什么问题吗？

Answer 1

我有同样的问题，这是我正在使用的火花版本。我使用1.5，然后使用1.4，最终为我工作的版本是1.6。因此，请确保您使用的Kafka版本与Spark版本兼容。就我而言，我使用Kafka版本2.10-0.10.1.1和spark-1.6.0-bin-hadoop2.3。

此外，（非常重要）确保您的日志文件中没有出现任何禁止错误。您必须为spark使用的文件夹分配适当的安全授权，否则您可能会收到许多与应用程序本身无关但安全设置不正确的错误。

Spark Streaming + kafka“JobGenerator”java.lang.NoSuchMethodError

1 个答案: