如何为Hive Metastore保存temptable(并在Hive中进行分析)?

时间:2015-11-18 08:25:27

标签: apache-spark hive apache-spark-sql spark-dataframe apache-spark-1.3

我使用Spark 1.3.1。

如何将DataFrame数据存储/保存到Hive Metastore?

在Hive中如果我运行show tables,则DataFrame不会在Hive数据库中显示为表格。我已将hive-site.xml复制到$SPARK_HOME/conf,但它没有帮助(并且数据框也没有出现在Hive Metastore中)。

我正在关注this document,使用spark 1.4版本。

dataframe.registerTempTable("people")

如何分析Hive中的火花表?

2 个答案:

答案 0 :(得分:0)

您可以使用insertInto方法在配置单元中保存数据框。

示例:

dataframe.insertInto("table_name", false);
//2nd arg is to specify if table should be overridden

答案 1 :(得分:0)

得到了解决方案。我正在使用spark 1.3.1,所以它不支持所有。现在使用spark 1.5.1解决了这个问题。 我注意到1.40之后数据帧完全正常工作。许多命令已被弃用。