SPARK错误：服务器IPC版本9无法与客户端版本4通信

Question

我正在运行hadoop 2.7.0版本，scala 2.10.4，java 1.7.0_21和spark 1.3.0

我创建了一个小文件，如下所示

hduser@ubuntu:~$ cat /home/hduser/test_sample/sample1.txt
Eid1,EName1,EDept1,100
Eid2,EName2,EDept1,102
Eid3,EName3,EDept1,101
Eid4,EName4,EDept2,110
Eid5,EName5,EDept2,121
Eid6,EName6,EDept3,99

在运行以下命令时收到错误。

scala> val emp = sc.textFile("/home/hduser/test_sample/sample1.txt")
emp: org.apache.spark.rdd.RDD[String] = /home/hduser/test_sample/sample1.txt MapPartitionsRDD[5] at textFile at <console>:21

scala> val dept = emp.map(_.split(",")).map(r => r(3))
dept: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[7] at map at <console>:23

scala> dept.collect().foreach(println)
java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4

在这种情况下，请您准确建议我必须做些什么。

Answer 1

看看火花下载页面。 ＆＃34; https://spark.apache.org/downloads.html＆＃34 ;. 有针对不同Hadoop版本预先构建的Spark发行版。