Question

主机：Windows 7 虚拟盒子：cloudera快速启动在独立模式下以spark（1.6.0＆scala：2.10.5）运行。

我想从主机执行spark作业，以便通过更改属性之一（ SPARK_MASTER_IP = <192.168.xx>）在虚拟机内以独立模式启动spark，然后我能够访问Spark Web UI（从主机）。

主要spark URL ：spark：//192.168.x.x：7077

错误： 面向错误为“ java.lang.RuntimeException：java.io.InvalidClassException：org.apache.spark.rpc.netty.RequestMessage；本地类不兼容：流classdesc serialVersionUID = -5447855329526097695，本地类serialVersionUID = -2221986757032131007”。

我在互联网上搜索，每个人都说它是spark应用程序与安装在cloudera vm上的spark版本之间不匹配的，所以我尝试了以下链接，但这些链接对我不起作用。 pom.xml具有与cloudera vm中安装的相同的spark版本，但仍无法解析我。

链接 1）local class incompatible Exception: when running spark standalone from IDE ...

2）Failed to connect to spark master:InvalidClassException: org.apache.spark.rpc.RpcEndpointRef; local class incompatible ...

注意：在vm之外，我可以使用eth1 inet地址（192.168.x.x）访问spark Web UI。

请帮助我解决此问题。

eclipse IDE中的版本：

 <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.6.0</version>
        </dependency>

Cloudera Virtual Box上的版本： Java版本：1.7.0 Scala版本：2.10.5 火花：1.6.0

我再次确认，两端都使用相同的版本。谢谢

从虚拟盒子外部启动Spark作业时遇到问题吗？

0 个答案: