我正在尝试使用shark在hive Metastore中创建一个表,执行以下命令:
CREATE TABLE src(key int, value string);
但我总是得到:
FAILED: Hive Internal Error: java.util.NoSuchElementException(null)
在google group-shark-users中阅读同样的内容,但唉。
我的火花版是0.8.1 我的鲨鱼版是0.8.1 Hive二进制版本是0.9.0
我已经从cdh4.5.0预先安装了hive-0.10.0,但由于shark 0.8.1与hive-0.10.0不兼容,我无法使用它。
我可以运行各种查询,例如 select * from table_name; 但不能创建表查询。 即使尝试创建缓存表也会失败。
如果我尝试使用我的HADOOP_VERSION = 2.0.0cdh4.5.0进行sbt构建,我得到DistributedFileSystem错误,我无法运行任何查询。
我迫切需要一个解决方案。如果有人能让我走向正确的方向,我会很高兴。我有mysql数据库而不是derby。
答案 0 :(得分:1)
我遇到了类似的问题,似乎只发生在0.8.1的Shark中。我通过恢复到Spark和Shark 0.8.0来解决它,它工作正常。
0.8.0和0.8.1在功能上非常相似,除非你使用Spark来增加两个版本之间的功能,否则最好不要使用0.8.0。
顺便说一句,如果您打算从源代码构建这两个,那么它是SPARK_HADOOP_VERSION
和SHARK_HADOOP_VERSION
。这不仅仅是HADOOP_VERSION
。