spark-streaming-kafka-0-10:KafkaConsumer对多线程访问不安全

时间:2017-07-11 15:02:26

标签: spark-streaming spark-streaming-kafka

我正试图从spark-streaming-kafka-0.8转移到spark-streaming-kafka-0.10,我遇到了以下错误: KafkaConsumer对多线程访问不安全

我想在Scala Spark Streaming应用程序中同时使用不同DC中的多个kafka集群。 在0.8版本中它运行正常 - 我们刚刚多次调用createDirectStream,每个集群一次。但升级到0.10后,它就停止了工作。

我找到的唯一相关答案是:KafkaConsumer is not safe for multi-threaded access from SparkStreaming ,但它与从同一群集中使用多个主题有关。目前,在一次调用createDirectStream时无法指定多个集群,同时多次调用它会导致错误。

我的问题是:有没有办法从多个集群中使用spark-streaming-kafka-0.10来使用数据?

0 个答案:

没有答案