EMR Spark - 如何查看将文件写入S3的进度？

Question

当我向S3提交创建镶木地板文件的工作时，EMR中是否有任何服务或我可以看到进度条（或已用时间）？

代码：

df.write.partitionBy("date").mode("append").parquet("s3n://uk-adp-vault/semasio/output")

Answer 1

您可以使用EMR上的8088端口转到ResourceManager。这将显示内存利用率。

从那里，您可以导航到ApplicationMaster，它是群集的spark UI。这将向您展示该工作的进度以及每项任务的详细信息。