Question

我使用Spark1.3.1尝试从HDFS读取数据：

val sc = new SparkContext(sparkConf)
val lines = sc.textFile("hdfs://192.168.0.104:9000/cur/part-r-02554")

我遇到了以下情况：

Exception in thread "main" java.io.IOException: Failed on local exception: 
com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group
tag did not match expected tag.; Host Details : local host is: 
"hadoop104/192.1168.1.104"; destination host is: "hadoop104":9000;

Answer 1

尝试在fs.defaultFS中查找属性fs.default.name或core-site.xml。检查192.168.0.104是否配置为value，而不是hostname。

如果主机名配置为value，则必然会出错 - 因为这是严格遵循的。或者，使用core-site.xml中配置的任何内容，或者不使用IP /主机名，然后继续使用hdfs:/cur/part-r-02554

spark1.3无法从HDFS1读取数据

1 个答案: