Question

我有一个裸机hadoop 3.1.2集群正在运行，并且我还安装了Oozie 5.1.0并成功运行了shell示例。但是，当我运行Spark示例（FileCopy）时，在oozie中指示为“成功”，而实际上并没有真正复制文件，并且YARN stderr包含：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.yarn.api.protocolrecords.RegisterApplicationMasterResponse.getResourceProfiles()Ljava/util/Map;
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:253)
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:234)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:201)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:180)

您知道为什么会发生这种情况吗？

Answer 1

Oozie 5.1.0不支持Hadoop3。未解决的问题：

如何在oozie火花纱提交中修复''java.lang.NoSuchMethodError''？

1 个答案: