在YARN问题上提交Flink作业

Question

我想使用以下命令在YARN上提交我的flink作业：

./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar

但是我遇到了这个错误：

is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.

Answer 1

这是由于名为 yarn.nodemanager.vmem-pmem-ratio 的变量导致的，该变量默认设置为2.1，在此命令中，该比率为4096/1024 = 4

您有3种方法：

1 -如果您可以访问YARN配置，则可以将 yarn.nodemanager.vmem-check-enabled 设置为 yarn-site.xml >为假。

2 -如果您有权访问配置，则可以将比率值从2.1更改为5，例如

3 -如果您无权访问，则可以更改YARN配置，可以更改ytm和yjm值以满足比率条件，例如：-yjm 4096 -ytm 4096。