Question

我正在使用cloudformation模板创建AWS EMR。我需要并行运行这些步骤。为此，我试图将YARN Scheduler从FIFO更改为Fair / Capacity Scheduler。

我添加了：

yarn.resourcemanager.scheduler.class : 'org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler'

我需要在conf.empty文件夹中添加FairScheduler.xml文件吗？如果是这样，可以请您共享xml文件。如果我想通过cloudformation模板添加fairscheduler.xml，是否需要使用引导程序？如果可以的话，请您提供给我我的引导文件。

Answer 1

即使更改了调度程序后，EMR也不允许同时运行作业。

Answer 2

您可以通过在云形成脚本中指定配置来配置集群。

这是一个配置示例

    - Classification: fair-scheduler
      ConfigurationProperties:
        <key1>: <value1>
        <key2>: <value2>
    - Classification: yarn-site
      ConfigurationProperties:
        yarn.acl.enable: true
        yarn.resourcemanager.scheduler.class: org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

请遵循这些-

EMR最近允许您并行运行多个步骤-

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-emr-now-allows-you-to-run-multiple-steps-in-parallel-cancel-running-steps-and-integrate-with-aws-step-functions/

带纱线调度器的AWS Emr

2 个答案: