Question

我有一个Java程序，它使用HDFS数据输入/输出流读取文件并将内容写入新文件。我的目标是找出我的HDFS的I / O吞吐量。下面是执行读/写和定时的代码片段：

long start = System.currentTimeMillis();
FSDataInputStream in = fs.open( new Path(input) );
FSDataOutputStream out = fs.create( new Path(output), true);

while ((bytesRead = in.read(buffer)) > 0) {
  out.write(buffer, 0, bytesRead);
  data += bytesRead;
}

in.close();
out.close();
long end = System.currentTimeMillis();

System.out.println("Copy data " + data + " Bytes in " +
((double)end-start) + " millisecond");

我期望复制文件的时间与文件大小成比例。但是当我运行程序从5MB到50MB的文件时，结果没有显示这种相关性：

Copy data 5242880 Bytes in 844.0 millisecond
Copy data 10485760 Bytes in 733.0 millisecond
Copy data 15728640 Bytes in 901.0 millisecond
Copy data 20971520 Bytes in 1278.0 millisecond
Copy data 26214400 Bytes in 1304.0 millisecond
Copy data 31457280 Bytes in 1543.0 millisecond
Copy data 36700160 Bytes in 2091.0 millisecond
Copy data 41943040 Bytes in 1934.0 millisecond
Copy data 47185920 Bytes in 1847.0 millisecond
Copy data 52428800 Bytes in 3222.0 millisecond

我的问题是：为什么复制时间与文件大小不成比例？我使用了错误的方法吗？任何反馈将不胜感激。

我的Hadoop在伪分布式操作模式下运行，我使用命令清除缓存：

sudo sh -c "sync; echo 3 > /proc/sys/vm/drop_caches"

每次运行程序之前。

Answer 1

文件复制时间受许多因素影响，其中一些因素包括1）文件大小，2）网络延迟和传输速度，3）硬盘搜索和读/写时间，4）hdfs复制量。

当您使用小文件（并且您的5mb到50mb是小文件）时，延迟和搜索时间会给您一个复制时间的下限，然后最重要的是您具有传输速度和读/写时间。基本上，除非您开始使用有意义的更大文件，否则不要期望看到线性时间增加。 HDFS文件系统基于大块，我认为默认值是64MB，人们常常把它放到512MB或更大。

为了测试io次，请尝试使用这些，TestDFSIO和testfilesystem。它们位于hadoop hadoop-mapreduce-client-jobclient - * .jar

中

如何测试HDFS I / O吞吐量

1 个答案: