您好我安装了Apache Spark 1.6.0,我正在尝试使用DataFrame.saveAsTable()将数据保存到Hive。但是,当它尝试创建/ user / hive目录时,我收到错误。我的理解是,当我安装Apache Spark的二进制版本时,我自动获得了Hive。我也找不到任何Hive配置文件 我的$ SPARK_HOME目录。为了解决这个问题,我需要单独安装Hive吗?
这是我得到的错误:
java.io.IOException: Mkdirs failed to create file:/user/hive/warehouse/wikidata_perm/_temporary/0/_temporary/attempt_201601250849_0002_m_000000_0
(exists=false, cwd=file:/home/myuser/devel/sandbox/Learning/Spark/LearningSpark/AmpCampHandsOn)
答案 0 :(得分:1)
如果你想获得火花支持,你必须指定使用Hive and JDBC support来构建火花。来自链接的文档:
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package
旁注:我的错误似乎不是由于缺乏蜂巢支持造成的。看起来您只是缺少正确目录的正确配置/访问权限。请参阅this以获取帮助。