如何在Hadoop中缩小HDFS的大小

Question

我使用Hadoop解析大量（大约1百万）个文本文件，每个文本文件都包含大量数据。 首先，我使用Eclipse将所有文本文件上传到hdfs。但是在上传文件时，我的map-reduce操作导致了以下目录C：\ tmp \ hadoop-admin \ dfs \ data中的大量文件。 那么，是否有任何机制，我可以使用它缩小我的HDFS的大小（基本上是上面提到的驱动器）。

Answer 1

缩小您的HDFS大小，您可以设置更大的值（以字节为单位）到以下hdfs-site.xml属性

 dfs.datanode.du.reserved=0 

您还可以通过启用地图输出压缩来降低地图输出生成的数据量。

map.output.compress=true

希望有所帮助。