Spark：Spark不使用配置的所有执行程序

Question

我们正在运行一个已批量排队的火花流应用程序..但是它没有使用配置到它的所有执行程序..

它配置为使用 24 执行程序但实际上它只使用 16 并且批次排队等候

我们怎样才能让它使用所有24个执行器而不让它排队批处理

Answer 1

  

它配置为使用24个执行程序，但实际上它只使用16个

你的工作期待 24个容器/执行者被分配给它但它只收到16个。这可能是由于以下原因：

1. 群集未配置为提供预期的资源量

资源可以是由底层集群管理器（yarn / mesos）配置的内存或vcores。您可以通过检查群集资源并相应地进行配置来解决此问题。

1. 群集在整个作业生命周期内没有足够的资源

这可能是因为其他作业在同一个集群上运行，并且部分集群资源被它们占用。