Question

我正在使用hadoop 2.7.2并为纱线和作业历史记录服务器Web UI配置了HTTPS，但UI仍然是HTTP，而不是HTTPS。

我已经设置了密钥和信任存储以及配置ssl-server.xml和ssl-client.xml。除此之外，我还使用ambari将以下属性放在mapred-site.xml中：

mapreduce.jobhistory.http.policy=HTTPS_ONLY
mapreduce.jobhistory.webapp.https.address=JHS:19889
mapreduce.jobhistory.webapp.address=JHS:19889

当我访问https网址https://github.com/mozilla/geckodriver/releases时，收到以下错误：

SSL received a record that exceeded the maximum permissible length. Error code: SSL_ERROR_RX_RECORD_TOO_LONG

上述错误是因为作业历史记录服务器正在侦听http连接而不是https。

当我使用http https://JHS:19889访问同一个网址时，我可以看到作业历史记录服务器web ui。在完成以下配置后，纱线的资源管理器Web UI也会发生同样的事情：

yarn.http.policy=HTTPS_ONLY
yarn.log.server.url=https://JHS:19889/jobhistory/logs
yarn.resourcemanager.webapp.https.address=RM:8090
yarn.nodemanager.webapp.https.address=0.0.0.0:8090

如何使纱线和作业历史记录服务器Web UI在HTTPS上可用？

Answer 1

Map Reduce和YARN是Hadoop项目的一部分，因此要启用SSL，您需要在core-site.xml中的Hadoop中启用SSL。

hadoop.ssl.enabled =真

然后还有一些你可能需要的设置（搜索hadoop.ssl），但这是主要设置。

Mapreduce作业历史记录服务器和yarn Web UI不遵循HTTPS_ONLY策略

1 个答案: