标签： apache-spark
我有一个包含8台机器的火花簇 但其中两个是旧电脑，运行缓慢， 所以我想让其中只有6个运行， 我只知道我可以使用--num-executor来运行6台计算机， 但我想让6台新电脑运行我的程序，我该怎么办呢？
答案 0 :(得分：0)
如果您将Yarn用作资源管理器，则可以指定执行程序的内存大小大于旧计算机上的可用内存大小。这将使您实现您正在寻找的东西。 （--executor-memory 10g）
否则，您需要一个名为Yarn Labels的功能：YARN-796