Question

我正在尝试在Hadoop CDH群集上运行hadoop作业，并且当Hadoop作业尝试从S3存储桶读取数据时出现错误。看起来它正在尝试通过SSL连接。有什么方法可以显式禁用SSL连接？

javax.net.ssl.SSLPeerUnverifiedException: peer not authenticated
at com.sun.net.ssl.internal.ssl.SSLSessionImpl.getPeerCertificates(SSLSessionImpl.java:352)
at com.cloudera.org.apache.http.conn.ssl.AbstractVerifier.verify(AbstractVerifier.java:126)
at com.cloudera.org.apache.http.conn.ssl.SSLSocketFactory.connectSocket(SSLSocketFactory.java:437)

Answer 1

显然，在core-site.xml中设置以下属性可以解决此问题。连接到Amazon S3时，这将禁用SSL连接。参考：有关更多详细信息，请查看General S3A Client configuration部分。

 <property>
    <name>fs.s3a.connection.ssl.enabled</name>
    <value>false</value>
  </property>

更新：在我的情况下，我将rhel-6.6与Cloudera Manager (CM) 5.6.0一起使用，当我将rhel更新为rhel-6.10时，我开始看到上述错误。根据{{3}}，此错误的原因是rhel-6.10与Cloudera Manager 5.6.0不兼容。因此，我必须升级Cloudera Manager to 5.11.0才能解决上述问题。

从CDH Hadoop集群连接到S3的“ peer not authenticated”异常

1 个答案: