我正试图从spark-streaming-kafka-0.8转移到spark-streaming-kafka-0.10,我遇到了以下错误: KafkaConsumer对多线程访问不安全
我想在Scala Spark Streaming应用程序中同时使用不同DC中的多个kafka集群。 在0.8版本中它运行正常 - 我们刚刚多次调用createDirectStream,每个集群一次。但升级到0.10后,它就停止了工作。
我找到的唯一相关答案是:KafkaConsumer is not safe for multi-threaded access from SparkStreaming ,但它与从同一群集中使用多个主题有关。目前,在一次调用createDirectStream时无法指定多个集群,同时多次调用它会导致错误。
我的问题是:有没有办法从多个集群中使用spark-streaming-kafka-0.10来使用数据?