我曾经能够通过Yarn UI KILL命令而不是从GCP Dataproc UI命令(这要慢得多)杀死在Dataproc上运行的Spark作业。但是我不再能够这样做-只有GCP UI可以工作。
有些更改了吗,或者我现在做错了什么?
我正在使用Dataproc 1.2版(过去曾在此版本中工作过)。
答案 0 :(得分:2)
为避免YARN安全漏洞,默认情况下默认禁用非获取API,但用户在创建集群时可以更改它(谨慎),或更新配置,然后重新启动Hadoop服务以运行集群。另外,如该问题的标题中所述,用户可以从Dataproc UI中终止建议的作业。
yarn-site.xml yarn.resourcemanager.webapp.methods-allowed属性现在默认为“ GET,HEAD”。此更改将可在YARN Resource Manager Web UI(默认端口8088)和REST API上调用的HTTP方法限制为仅GET和HEAD,并通过YARN REST API禁用作业提交和修改。通过在创建集群时将yarn.resourcemanager.webapp.methods-allowed属性设置为一个或多个逗号分隔的HTTP方法名称,可以覆盖默认值并在端口8088上启用特定的HTTP方法。 ALL值将允许端口上的所有HTTP方法。 示例:gcloud dataproc集群创建--properties ='yarn:yarn.resourcemanager.webapp.methods-allowed = GET,POST,DELETE' 建议:如果将此属性设置为允许非默认HTTP方法,请确保配置防火墙规则和其他安全设置以限制对端口8088的访问(请参阅群集Web界面→避免安全漏洞)。
在此release notes中查看更多详细信息。