我在项目中使用带有配置单元的spark。在spark作业中,我正在执行insert overwrite具有分区列的外部表。 Spark作业运行正常,没有任何错误,我可以在web-UI中看到,该作业的所有任务都已完成。
现在出现了痛苦的部分,我可以在日志中看到,火花代码处理已经完成,现在hive正在尝试将hdfs文件从staging / temp区域移动到hive表的实际表目录。这是永远的。任何解决此问题的输入都将受到高度赞赏?如果您想了解更多详情,请与我们联系
注意:但是,当我直接从hive脚本运行相同的插入覆盖逻辑时,它会在几分钟内完成。 (执行引擎是TEZ)。