Question

我正在尝试将一个Hadoop Map-Reduce作业从CDH3u4集群提交到在CDH4.3上运行的集群。（fs.default.name和mapred.job.tracker配置参数设置为指向CDH4.3群集。以下是堆栈跟踪。

1）我们可以将hadoop作业提交给处理不同版本的远程集群吗？ 2）有解决方法吗？

hadoop jar Standalone.jar

Exception in thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC version 7 cannot communicate with client version 4
    at org.apache.hadoop.ipc.Client.call(Client.java:1107)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)
    at $Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:398)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:384)
    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:129)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:255)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:217)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1563)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:67)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:1597)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1579)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:228)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:111)
    at com.poc.standalone.HDFSRemoteAccess.main(HDFSRemoteAccess.java:43)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:197)

Answer 1

您需要将HADOOP_PREFIX环境变量设置为指向安装了hadoop 2.X.X版本的目录。

e.g。

export HADOOP_PREFIX=pathtohadoop-2.2.0

Answer 2

当我尝试连接到hdfs时，我遇到了这个异常。我正在使用cdh4.6版本。

我通过添加cloudera mvn依赖项解决了这个问题。 You can find a dependency list here.

首先，您应该检查您的依赖项。

另一点是你应该尝试使用fs.deafultFS配置参数而不是fs.default.name param（或旁边）。因为在cdh4X中不推荐使用fs.default.name

1）您应该具有两个版本的依赖关系，并且可以在它们之间进行切换 2）take look at here保留不同版本的依赖项。

服务器IPC版本7无法与客户端版本4通信

2 个答案: