我在Redhat中使用单节点设置并安装了Hadoop Hive Pig和Spark。我在Derby和所有内容中配置了hive元数据。我为Hive表创建了新文件夹并给予了完全权限(chmod 777)。然后我从Hive CLI创建了一个表,我可以在Spark-shell中选择这些数据并将这些值打印到控制台。但是从Spark-shell / Spark-Sql我无法创建新表。它正在抛出错误
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:file:/2016/hive/test2 is not a directory or unable to create one)
我检查了权限和用户(使用相同的用户安装和Hive和Hadoop Spark等)。 是否需要做任何事情才能完全整合Spark和Hive
由于
答案 0 :(得分:0)
检查hdfs 中的权限是否正确(不仅仅是文件系统)
hadoop fs -chmod -R 755 /user
如果之后错误消息仍然存在,请更新问题。