我有一个简单的java程序，它包含distcp以通过hadoop集群复制文件。 我可以从IDE和hadoop cli成功运行它。
我想拥有一个jsp Web应用程序，以便人们可以使用Web界面来与我的程序进行交互。
我创建了一个包含所有依赖项的胖jar，并将其部署在我的Web应用程序中。 现在的问题是，只要程序想要提交distcp作业，就会出现以下错误：
java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:143)
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:108)
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:101)
at org.apache.hadoop.tools.DistCp.createMetaFolderPath(DistCp.java:419)
at org.apache.hadoop.tools.DistCp.<init>(DistCp.java:106)
at replication.ReplicationUtils.doCopy(ReplicationUtils.java:127)
at replication.ReplicationUtils.copy(ReplicationUtils.java:77)
at replication.parallel.DistCpTask.run(DistCpTask.java:28)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
我检查了 mapreduce.framework.name ，确实纱线。
任何想法？
UPDATE1：
经过一些调试后，我发现以下代码：
Iterable<ClientProtocolProvider> frameworkLoader =
ServiceLoader.load(ClientProtocolProvider.class);
for(ClientProtocolProvider cpp: frameworkLoader) {
System.out.println(cpp.toString());
}
当我在本地运行时，我得到：
org.apache.hadoop.mapred.YarnClientProtocolProvider@7a4f0f29
org.apache.hadoop.mapred.LocalClientProtocolProvider@5fa7e7ff
但是当它从Web服务器运行时，我得到：
org.apache.hadoop.mapred.LocalClientProtocolProvider@5fa7e7ff
我还是不知道为什么会这样。我在webserver中部署的胖jar中有 YarnClientProtocolProvider 。
UPDATE2：
我创建的超级jar以某种方式合并了依赖关系jar的META-INF / services目录下的所有服务提供者声明，因此在那里写的最后一个文件只包含＆＃39; org.apache.hadoop.mapred。 LocalClientProtocolProvider＆＃39;
我仍然想知道为什么当我使用
hadoop jar my.jar ....
它识别＆＃39; org.apache.hadoop.mapred.YarnClientProtocolProvider＆＃39;虽然它在my.jar的META-INF / services目录下的服务提供者中不存在。
现在我认为问题应该是如何创建一个不合并服务提供者条目的超级jar。