Question

2018年3月8日16：36：16775 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService：下载公共RSRC：{HDFS：// myCluster中/用户/ abc_user / UDF / pig_udf -1.5.7_handle_input_error.jar，1516336589685，FILE，null} 2018年3月8日16：36：16775 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService：无法下载资源{{HDFS：// myCluster中/用户/ Oozie的/共享/ LIB / lib_20171215093741 /pig/libgplcompression.so.0.0.0,1513307849411,FILE,null}，待定，[（container_1519371600813_0002_02_000001）]，8140205165392614，DOWNLOADING} java.lang.IllegalArgumentException：java.net.UnknownHostException：mycluster 在org.apache.hadoop.security.SecurityUtil.buildTokenService（SecurityUtil.java:406）在org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy（NameNodeProxies.java:310）在org.apache.hadoop.hdfs.NameNodeProxies.createProxy（NameNodeProxies.java:176）在org.apache.hadoop.hdfs.DFSClient。（DFSClient.java:728）在org.apache.hadoop.hdfs.DFSClient。（DFSClient.java：671）在org.apache.hadoop.hdfs.DistributedFileSystem.initialize（DistributedFileSystem.java:155）在org.apache.hadoop.fs.FileSystem.createFileSystem（FileSystem.java:2815）在org.apache.hadoop.fs.FileSystem.access $ 200（FileSystem.java:98） at org.apache.hadoop.fs.FileSystem $ Cache.getInternal（FileSystem.java:2852）在org.apache.hadoop.fs.FileSystem $ Cache.get（FileSystem.java:2834）在org.apache.hadoop.fs.FileSystem.get（FileSystem.java:387）在org.apache.hadoop.fs.Path.getFileSystem（Path.java:296）在org.apache.hadoop.yarn.util.FSDownload.copy（FSDownload.java:249）在org.apache.hadoop.yarn.util.FSDownload.call（FSDownload.java:356）在org.apache.hadoop.yarn.util.FSDownload.call（FSDownload.java:60） at java.util.concurrent.FutureTask.run（FutureTask.java:266） at java.util.concurrent.Executors $ RunnableAdapter.call（Executors.java:511） at java.util.concurrent.FutureTask.run（FutureTask.java:266）在java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1142） at java.util.concurrent.ThreadPoolExecumytor $ Worker.run（ThreadPoolExecutor.java:617）在java.lang.Thread.run（Thread.java:748）引起：java.net.UnknownHostException：mycluster

Yarn-nodemanager服务和数据节点服务在同一台机器上

同一台机器上的Yarn-resource-manager服务和NameNode

运行简单的猪脚本时加载数据并打印。我遇到了上述错误。

在添加备用Namnode之前，一切正常。

如何配置yarn以了解我的NameNode群集

谢谢你

Answer 1

在Yarn Node Manager所在的2 DataNode上再次检查hdfs-site.xml之后，我看到hdfs-site文件在与名称节点上的hdfs-site比较时缺少此行

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

现在正在工作

纱线无法连接到namenode群集

1 个答案: