Question

我正在使用YARN（和Dask）版本Hadoop 2.7.3-amzn-1在AWS EMR上构建应用程序。我正在尝试测试各种失败情况，并且想要模拟容器失败。我似乎找不到一种简单的方法来杀死YARN容器-仅杀死整个应用程序。是否有用于此的命令行实用程序？

Answer 1

YARN没有可杀死容器的CLI或REST API。

造成容器故障的最简单方法是登录到NodeManager主机并杀死由NodeManager产生的进程（可能是容器）。

Answer 2

[root@node1 lillcol]# yarn container -help
20/04/24 15:04:14 INFO client.AHSProxy: Connecting to Application History server at node1/127.0.0.1:10200
usage: container
 -help                                     Displays help for all commands.
 -list <Application Attempt ID>            List containers for application
                                           attempt.
 -signal <container ID [signal command]>   Signal the container. The
                                           available signal commands are
                                           [OUTPUT_THREAD_DUMP,
                                           GRACEFUL_SHUTDOWN,
                                           FORCEFUL_SHUTDOWN] Default
                                           command is OUTPUT_THREAD_DUMP.
 -status <Container ID>                    Prints the status of the
                                           container.

通过命令yarn container -signal [container-ID] GRACEFUL_SHUTDOWN实现。

我已经尝试过并且可以正常工作，希望对您有所帮助。

Answer 3

似乎从2.8.0版开始在API中公开 https://hadoop.apache.org/docs/r2.8.0/api/org/apache/hadoop/yarn/client/api/YarnClient.html#signalToContainer(org.apache.hadoop.yarn.api.records.ContainerId,%20org.apache.hadoop.yarn.api.records.SignalContainerCommand)

如何杀死YARN容器以测试失败情况

3 个答案: