如何使用Yarn为作业分配更多资源

Question

我在Hadoop集群上运行了一些不同的工作。有些人需要的资源很少，而且需要更多，记忆。我想在我的群集上同时运行这些作业，因为它支持Yarn。我想如果我只是将作业提交到集群，Yarn会自动决定资源需求，但是我想自己指定。如何使用api或命令行指定每个作业资源要求？

Answer 1

您可以使用JobConf为mapper和reducer设置内存。您可以从命令行或Driver类中执行此操作。

在特定的setMemoryForMapTask（long mem）和setMemoryForReduceTask（long mem）中查找这些属性

https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobConf.html#setMemoryForMapTask(long)有更多信息和使用详情。