如何使用作业火花测量HDFS的读写时间？

Question

我刚刚开始进行大数据平台资格认证的工作，我想就如何测试hdfs的读写性能提出建议。

Answer 1

如果您正在运行spark作业以进行读写操作，则可以在应用程序管理器（localhost：50070）上看到作业时间；如果您使用的是spark-shell，则必须手动测量时间，也可以使用时间功能。