如何在HDFS hadoop中创建可用空间?

时间:2016-01-25 17:33:37

标签: hadoop hdfs

如果存在空间问题,我们如何在HDFS中创建可用空间。 我们可以删除哪些文件以腾出空间?

由于

2 个答案:

答案 0 :(得分:1)

尽可能压缩文件。

https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Data_Compression

答案似乎很浅薄。花一点力气找出适合您需求的压缩方式。

或者,您可以以二进制格式存储文件,例如序列或avro。

我们可以删除哪些文件以腾出空间? 删除任何作业不再需要的作业(如MR,Hive,Pig,Spark等)。

答案 1 :(得分:0)

如果启用了“废纸篓”配置,则可能会在“.Trash”目录中累积许多文件(具体取决于您的废纸篓间隔)。 如果是这样,您可以尝试删除.Trash目录内容。 注意: 默认垃圾箱目录为“/user/username/.Trash”