在Kafka-Spark Streaming中,如何在给定数量的Worker中手动分隔给定数量的Job?

时间:2019-06-13 12:56:13

标签: apache-kafka spark-streaming

我的应用程序使用“直接方法”方法通过Spark Streaming消费和处理Kafka消息。 我知道默认情况下Jobs分布在所有Workers上执行,但是我想限制在每个Workers上运行的Jobs数量。在Kafka-Spark Streaming中是否有实现此目的的属性?

例如: 我有100个工作和2个工人(Worker-1和Worker-2)。在这种情况下,我想在Worker-1上运行40个作业,并在Worker-2上运行60个作业。有人可以帮我实现这一目标吗?

0 个答案:

没有答案