FAILED:Hive内部错误:java.util.NoSuchElementException(null)从shark命令行运行CREATE TABLE查询时

时间:2014-01-29 15:37:14

标签: hive apache-spark shark-sql

我正在尝试使用shark在hive Metastore中创建一个表,执行以下命令:

CREATE TABLE src(key int, value string);

但我总是得到:

FAILED: Hive Internal Error: java.util.NoSuchElementException(null)

在google group-shark-users中阅读同样的内容,但唉。

我的火花版是0.8.1 我的鲨鱼版是0.8.1 Hive二进制版本是0.9.0

我已经从cdh4.5.0预先安装了hive-0.10.0,但由于shark 0.8.1与hive-0.10.0不兼容,我无法使用它。

我可以运行各种查询,例如 select * from table_name; 但不能创建表查询。 即使尝试创建缓存表也会失败。

如果我尝试使用我的HADOOP_VERSION = 2.0.0cdh4.5.0进行sbt构建,我得到DistributedFileSystem错误,我无法运行任何查询。

我迫切需要一个解决方案。如果有人能让我走向正确的方向,我会很高兴。我有mysql数据库而不是derby。

1 个答案:

答案 0 :(得分:1)

我遇到了类似的问题,似乎只发生在0.8.1的Shark中。我通过恢复到Spark和Shark 0.8.0来解决它,它工作正常。

0.8.0和0.8.1在功能上非常相似,除非你使用Spark来增加两个版本之间的功能,否则最好不要使用0.8.0。

顺便说一句,如果您打算从源代码构建这两个,那么它是SPARK_HADOOP_VERSIONSHARK_HADOOP_VERSION。这不仅仅是HADOOP_VERSION