在Spark 1.6.0 CDH 5.14.2中集成Kafka 0.10.x（或更高版本）

Question

我试图在我的Spark Streaming项目（使用1.6.0-cdh.5.14.2库）中使用Kafka 0.10.2，但是在运行时会引发以下错误：

 Caused by: java.lang.NoSuchMethodError: kafka.message.MessageAndMetadata.<init>(Ljava/lang/String;ILkafka/message/Message;JLkafka/serializer/Decoder;Lkafka/serializer/Decoder;)V
    at org.apache.spark.streaming.kafka.KafkaRDD$KafkaRDDIterator.getNext

尤其是当我在特定的RDD上使用foreachPartition时会发生这种情况。

谢谢