标签: apache-spark amazon-emr
我在EMR集群上完成了一个火花工作,该工作非常简单,可以从一些镶木地板文件中读取内容,并进行union和dropDuplication等工作。 完成集群后,它会显示“所有步骤已完成”的集群状态。我查看了“应用程序历史记录”->“作业”标签,发现并非所有任务都已完成。
我转到了“阶段”标签,其中有一些“未定义”阶段和“未知”任务, 有人知道那里发生了什么吗?集群似乎告诉我“所有工作都已完成”,为什么还有“未定义”阶段和“未知”任务?