使用静态池cgroup

时间:2017-09-07 09:51:36

标签: hadoop cloudera hue cgroups

据我所知,您可以通过静态服务池中的cgroup限制Hadoop服务。我想限制Hue服务,因为有时它会占用我们在Edge节点上的所有内存并且会损害我们的加载过程。
但是我无法在静态服务池配置中找到Hue - 它只给我选项 - HDFS,Impala,YARN,Hbase。
Hue设置可以在这里完成,还是我需要在其他地方完成?

谢谢。

2 个答案:

答案 0 :(得分:0)

您可以根据需要激活cgroup内存选项(Cgroup Memory Soft Limit,Cgroup Memory Hard Limit)。

答案 1 :(得分:0)

在这种情况下,您可以尝试在Cloudera Manager Hue配置页面中设置cgroup内存软限制,但我不相信它会有多大帮助。由于Python 内存碎片,这是Hue中的已知问题。 Hue中有一些可能触发它的常见操作,例如下载大型查询结果集(超过10M)或使用HDFS文件浏览器浏览具有大量文件(1000+)的HDFS目录。请您的用户不要进行这些操作。

如果此内存问题仍然存在,您可以使用https://github.com/cloudera/hue/blob/master/tools/ops/hue_mem_cron.sh处的脚本来设置cron作业。该脚本监视Hue进程内存使用情况,如果使用过多则将其终止。您需要配置Cloudera Manager以自动重新启动Hue。

当然,杀死顺化不是一个理想的解决方案。您可以做的是在多个Hue实例前面使用负载均衡器设置 Hue HA 以缓解此问题。您可以按照文档https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hue_config.html进行设置