Hadoop I / O密集型示例

Question

我想用几个I / O密集型作业来测试我的Hadoop I / O性能。我知道基准TestDFSIO就是一个很好的例子。但我仍然想知道Hadoop是否还有其他良好的I / O密集型基准测试？

BTW，有没有CPU密集型基准测试？

感谢。

Answer 1

Wordcount是CPU密集型的，正如另一个答案所述，Terasort是I / O密集型的。

您应该查看HiBench，这是英特尔的Hadoop基准测试套件。

HiBench使用许多现有的Hadoop基准测试，并包括用于Wordcount（或Terasort）等基准测试的准备脚本，因为这些基准测试要求首先生成输入数据。

Answer 2

Hadoop在示例包中捆绑了Terasort基准。它主要是IO密集型的，可能很适合您的需求。