Question

我安装了Vora 1.1。在SLES 11 SP3上使用Spark 1.5.2在HDP 2.3上进行补丁1。这不是说明2213226中提到的配置，但是Vora的shell版本似乎与安装手册的测试2.7一起正常工作（后者根据操作系统版本没有规定HDP版本，因此我选择了HDP2 .3在SLES下。）

但是我遇到了Zeppelin的问题。版本0.5.6的github安装似乎是成功的，我可以在Zeppelin记事本中执行“create table”语句，但是当执行“show tables”语句时，我收到错误：

Error: Job aborted due to stage failure: Task 0 in stage 12.0 failed 4 times, most recent failure: Lost task 0.3 in stage 12.0 (TID 36, eba156.extendtec.com.au): java.io.InvalidClassException: org.apache.spark.unsafe.types.UTF8String; local class incompatible: stream classdesc serialVersionUID = 7459647620003804432, local class serialVersionUID = 7786395165093970948 at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:621) at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1623) at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1518) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1774) at 
(blablabla)

我相信我找到了原因：

来自库spark-sap-datasources-1.2.10-assembly.jar（然后由Zeppelin使用）的类UTF8String.class日期为1月20日，大小为17919字节。
Spark的1.5.2中包含的类UTF8String.class。图书馆的日期为12月16日，大小为18653

所以我猜这些库的版本不匹配。我该怎么办？谢谢！

Answer 1

我已经从Spark＆＃34; unbinded＆＃34;复制了上述课程。库中的spark-vora-zeppelin合二为一，覆盖了那里的课程。＆＃34; SHOW TABLES＆＃34;执行没有任何问题。我想知道它是否是合适的解决方案，但到目前为止它都有效。

Answer 2

直到Vora1.1 Patch 1 HDP2.3.4附带的Spark 1.5.2版本不受官方支持（HDP-Spark1.5.2版本与Apache Spark1.5.2版本略有不同）。 Thriftserver和Zeppelin有两个已知问题。最简单的解决方法是在Ambari之外安装Apache Spark 1.5.2，而不是使用HDP-Spark版本。

自Vora 1.2（2016年3月31日发布）以来，HDP-Spark 1.5.2版本的两个问题都得到了解决，Vora与它完全兼容。

齐柏林失败了; Vora和Spark 1.5.2库

2 个答案: