如何测量Spark over S3的IO时间

Question

如何判断从S3进行R / W的Spark应用程序的IO持续时间（使用S3作为文件系统sc.textFile（“s3a：// ...”）？
我想知道整个应用程序执行时间占IO的时间百分比。

Answer 1

正如我在邮件列表中提到的：不是，不是。