我们在客户端环境中安装了AWS EMR。已使用安全配置启用传输中的加密和静态加密。当我们执行简单的Hive查询时,我们继续得到以下mapreduce错误。
此任务的诊断消息:
错误:org.apache.hadoop.mapreduce.task.reduce.Shuffle $ ShuffleError: fetcher#1中的shuffle错误 在org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) 在org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:377) 在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:164) at java.security.AccessController.doPrivileged(Native Method) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698) 在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)引起: java.io.IOException:超过MAX_FAILED_UNIQUE_FETCHES;想逃出。 在org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl.checkReducerHealth(ShuffleSchedulerImpl.java:366) at org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl.copyFailed(ShuffleSchedulerImpl.java:288) 在org.apache.hadoop.mapreduce.task.reduce.Fetcher.openShuffleUrl(Fetcher.java:282) 在org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:323) 在org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:193)
如果有人在此之前遇到此错误,请与我们联系。