一些自动启动的Hadoop YARN应用程序

时间:2018-07-12 13:02:39

标签: hadoop amazon-ec2 yarn

我是Apache Hadoop的新手。我在 AWS 上安装了YARN集群,其中有一个主服务器和两个从属服务器。当我刚启动群集YARN时,我观察到某些应用程序是由用户 dr.who 使用应用程序类型YARN 启动的。这让我很困扰。希望有人可以帮助我。谢谢!

application_1531399885156_0041  dr.who  hadoop  YARN    default Thu Jul 12 14:58:37 +0200 2018  N/A ACCEPTED    UNDEFINED   ApplicationMaster   0

1 个答案:

答案 0 :(得分:0)

这是最新发布的Hadoop中的一个已知错误,并且还创建了JIRA。 dr.who 提交的应用程序,当用户杀死所有作业时,NodeManager就会关闭。

编辑:问题解决方法

问题,由于默认用户dr.who的权限不正确,客户无法通过Resource Manager UI查看日志。

解决方案,客户更改了core-site.xml中的以下属性以解决该问题。其他值(例如hdfs或mapred)也可以解决此问题。如果群集是由Ambari管理的,则应在Ambari> HDFS>配置>高级核心站点>添加属性中添加它

hadoop.http.staticuser.user=yarn

Hortonworks上发布了相同的威胁,并由Sandeep Nemuri回答,他写道:

  
      
  1. 阻止进一步的攻击:
  2.   
     

a。使用防火墙/ IP表设置仅允许访问资源管理器端口的白名单IP地址(默认为8088)。在HA设置中的两个资源管理器上都执行此操作。这仅解决当前的攻击。为了永久保护您的群集,必须阻止所有HDP端点(例如WebHDFS)在防火墙外部进行开放访问。

     

b。使您的群集安全(以kerberized)。

     
      
  1. 清除现有攻击:
  2.   
     

a。如果您的群集中已经出现上述问题,请过滤所有名为“ MYYARN”的应用程序,并在确认这些应用程序不是由您自己的用户合法提交后杀死它们。

     

b。您还需要手动登录集群计算机,并使用“ z_2.sh”或“ / tmp / java”或“ /tmp/w.conf”检查是否有任何进程并将其杀死。

该线程的链接为:dr.who