标签: apache-spark spark-structured-streaming
我已使用新API将带有4个分区的kafka主题连接到spark流:结构化流式传输。一切顺利,除了我的两个工作节点中只使用一个工作节点(因此一个具有2个核心的执行器)。这些作业有4个任务,但只使用了一个工作节点。
我尝试在spark-submit中添加许多执行程序,但这并没有改变任何内容。
有关如何与其他节点互动的任何想法?
谢谢, 米克尔