我在2个数据框之间创建了一个简单的右外部联接。然后,我在输出配置单元表中写入一个分区。写工作正常,但有时会出现类似
的错误ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
TungstenExchange hashpartitioning(key#1200L,200), None
Caused by: java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]
我收到此错误后,对该特定分区的任何进一步写入都会失败,并出现相同的错误。数据帧的大小小于10万条记录。可能是什么问题