什么是Hadoop TestDFSIO的计量单位?

时间:2015-07-06 09:29:22

标签: hadoop hdfs

在查看HDFS吞吐量时,TestDFSIO使用" mb / sec"作为计量单位。这是MegaBytes / s,Megabits / s还是MibiBytes / s?我怀疑它是兆字节/秒,但无法找到明确的文档。

示例输出:

15/07/06 09:59:33 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
15/07/06 09:59:33 INFO fs.TestDFSIO:            Date & time: Mon Jul 06 09:59:33 CEST 2015
15/07/06 09:59:33 INFO fs.TestDFSIO:        Number of files: 10
15/07/06 09:59:33 INFO fs.TestDFSIO: Total MBytes processed: 10000.0
15/07/06 09:59:33 INFO fs.TestDFSIO:      Throughput mb/sec: 17.08896343474494
15/07/06 09:59:33 INFO fs.TestDFSIO: Average IO rate mb/sec: 18.49329376220703
15/07/06 09:59:33 INFO fs.TestDFSIO:  IO rate std deviation: 5.178436159603544
15/07/06 09:59:33 INFO fs.TestDFSIO:     Test exec time sec: 93.996

请注意,无法使用总MBytes和测试执行程序派生单位。时间,因为吞吐量是使用地图时间总和的度量。

1 个答案:

答案 0 :(得分:0)

我认为每秒兆字节数。来源:请参阅“关于数学”https://support.pivotal.io/hc/en-us/articles/200864057-Running-DFSIO-mapreduce-benchmark-test