无法从Spark-shell在hive中创建新表

时间:2016-02-10 14:02:09

标签: hadoop apache-spark hive derby

我在Redhat中使用单节点设置并安装了Hadoop Hive Pig和Spark。我在Derby和所有内容中配置了hive元数据。我为Hive表创建了新文件夹并给予了完全权限(chmod 777)。然后我从Hive CLI创建了一个表,我可以在Spark-shell中选择这些数据并将这些值打印到控制台。但是从Spark-shell / Spark-Sql我无法创建新表。它正在抛出错误

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:file:/2016/hive/test2 is not a directory or unable to create one)

我检查了权限和用户(使用相同的用户安装和Hive和Hadoop Spark等)。 是否需要做任何事情才能完全整合Spark和Hive

由于

1 个答案:

答案 0 :(得分:0)

检查hdfs 中的权限是否正确(不仅仅是文件系统)

hadoop fs -chmod -R 755 /user

如果之后错误消息仍然存在,请更新问题。