KafkaConsumer对于多线程访问pyspark不安全

Question

我正在使用Kafka的spark结构化流媒体，但是当我尝试将流写入控制台时，我收到错误：

.getParentFile()

这是我的代码：

Caused by: java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access

Answer 1

您的代码没有特别的错误。

这是SPARK-23636跟踪的已知错误。 SPARK-19185跟踪的直接DStream也存在类似问题。

根据JIRA票：

  

只有解决方法是使用executor-cores = 1启动我们的应用程序，并启用动态资源分配。

在您的情况下可能接受或不接受。