写入数据帧火花时出现TungstenExchange哈希分区错误

时间:2018-07-06 10:24:11

标签: scala apache-spark apache-spark-sql

我在2个数据框之间创建了一个简单的右外部联接。然后,我在输出配置单元表中写入一个分区。写工作正常,但有时会出现类似

的错误
ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
TungstenExchange hashpartitioning(key#1200L,200), None

Caused by: java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]

我收到此错误后,对该特定分区的任何进一步写入都会失败,并出现相同的错误。数据帧的大小小于10万条记录。可能是什么问题

0 个答案:

没有答案