来自Kafka的Spark 2.2结构化流式读取主题只有一个执行器从分区读取

时间:2017-09-22 07:08:04

标签: apache-spark spark-structured-streaming

我已使用新API将带有4个分区的kafka主题连接到spark流:结构化流式传输。一切顺利,除了我的两个工作节点中只使用一个工作节点(因此一个具有2个核心的执行器)。这些作业有4个任务,但只使用了一个工作节点。

我尝试在spark-submit中添加许多执行程序,但这并没有改变任何内容。

有关如何与其他节点互动的任何想法?

谢谢, 米克尔

0 个答案:

没有答案