如何为不同的工人分配不同的记忆

Question

我想在火花中为群集的不同工作者分配不同的记忆。 指定conf时，我们可以写 .set（＆＃34; spark.executor.memory＆＃34;，＆＃34; 2g＆＃34;），这将为所有相应的工作人员分配2 GB。但是如何为不同的工人分配不同的记忆。

例如，我想给一个工人1克，给剩下的工人2克。这可能吗？如果是，怎么样？

Answer 1

可能与this

重复

1. 似乎无法提供不同的内存限制。
2. 但文档说如果您不提供任何约束，则将使用该计算机的所有内存。因此，如果你有不同的机器，它可以在每台机器上使用不同数量的RAM