通过Spark插入在Hive中覆盖外部表分区数据

时间:2016-08-03 18:18:40

标签: hadoop apache-spark hive apache-spark-sql spark-dataframe

我在项目中使用带有配置单元的spark。在spark作业中,我正在执行insert overwrite具有分区列的外部表。 Spark作业运行正常,没有任何错误,我可以在web-UI中看到,该作业的所有任务都已完成。

现在出现了痛苦的部分,我可以在日志中看到,火花代码处理已经完成,现在hive正在尝试将hdfs文件从staging / temp区域移动到hive表的实际表目录。这是永远的。任何解决此问题的输入都将受到高度赞赏?如果您想了解更多详情,请与我们联系

注意:但是,当我直接从hive脚本运行相同的插入覆盖逻辑时,它会在几分钟内完成。 (执行引擎是TEZ)。

0 个答案:

没有答案