Hive是否自动附带Apache Spark

时间:2016-01-26 01:16:10

标签: apache-spark apache-spark-sql

您好我安装了Apache Spark 1.6.0,我正在尝试使用DataFrame.saveAsTable()将数据保存到Hive。但是,当它尝试创建/ user / hive目录时,我收到错误。我的理解是,当我安装Apache Spark的二进制版本时,我自动获得了Hive。我也找不到任何Hive配置文件 我的$ SPARK_HOME目录。为了解决这个问题,我需要单独安装Hive吗?

这是我得到的错误:

java.io.IOException: Mkdirs failed to create  file:/user/hive/warehouse/wikidata_perm/_temporary/0/_temporary/attempt_201601250849_0002_m_000000_0 
(exists=false,    cwd=file:/home/myuser/devel/sandbox/Learning/Spark/LearningSpark/AmpCampHandsOn)

1 个答案:

答案 0 :(得分:1)

如果你想获得火花支持,你必须指定使用Hive and JDBC support来构建火花。来自链接的文档:

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

旁注:我的错误似乎不是由于缺乏蜂巢支持造成的。看起来您只是缺少正确目录的正确配置/访问权限。请参阅this以获取帮助。