Question

我试图使用带有shark-0.9.1的hive Metastore（hive-0.11.0）。现在，我很高兴让它在一个节点上运行，所以不涉及奴隶制。运行配置单元时，我可以创建表并执行SQL语句，例如

hive> SELECT MAX(rating) FROM data;

使用spark时，几乎唯一可行的是

shark> show tables;

显示以前使用hive创建的表。

上面的SELECT语句之类的任何其他语句都会给我一个错误。

Exception in thread "main" java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$CompleteRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;

（还有更多＆＃34;在java.lang ....＆＃34;）。

我还注意到，在初始化鲨鱼时，我收到以下消息：

1.998: [GC (Metadata GC Threshold)  996276K->19001K(10049024K), 0.0283650 secs]
2.026: [Full GC (Metadata GC Threshold)  19001K->18119K(10049024K), 0.0519489 secs]
Reloading cached RDDs from previous Shark sessions... (use -skipRddReload flag to skip reloading)
3.225: [GC (System.gc())  653092K->31516K(10049024K), 0.0184714 secs]
3.244: [Full GC (System.gc())  31516K->18363K(10049024K), 0.0909512 secs]
3.340: [GC (System.gc())  187300K->18498K(10049024K), 0.0040080 secs]
3.344: [Full GC (System.gc())  18498K->15265K(10049024K), 0.0836514 secs]

任何想法可能是造成这些问题的原因？我应该补充说我是新手，所以这可能是我错过的一些非常基本的东西。

尝试使用Apache Shark执行SQL时出现异常

0 个答案: