纱线显​​示作业已成功，但EMR显示步骤仍在运行

Question

Yarn显示作业成功（在Yarn UI中），但EMR显示步骤（在EMR控制台UI中）仍在运行，并且它永远显示为tat。任何想法 ？ 我写s3作为json部分文件，我在驱动程序日志中看到了这一点：

Caused by: java.io.IOException: File already exists:s3n:

但是司机仍在运行，但纱线显示成功。

Answer 1

我遇到了同样的问题，其中s3告诉我文件已经存在且作业按预期完成。首先，不要使用s3n://，而是使用s3://，而不是this issue中的建议。

为了摆脱IOException，我启用了EMRFS consistent view，这是推荐用于使用Amazon S3作为数据存储运行快速连续步骤的群集＃34;这是我的情况。 YMMV。