Cloudera Manager - HDFS可用空间健康问题疑难解答

Question

我有一个由两台主机配置的集群 -

我正在运行的作业似乎正在创建大量日志，而我的一个hdfs datanode显示出严重的健康问题 -

四件事：

1. 如何清理这些日志并腾出空间？是从/ var / log / hadoop-hdfs手动删除它们，这是一个好主意吗？



1. 如上/ var / log / hadoop-hdfs目录只有610 MB，hdfs中的空间会被占用吗？

2. 如何配置日志文件以定期删除？

3. 我有HDFS，Spark和YARN - MR2服务启动并运行它们都在创建自己的日志。我也想清理那些。

谢谢！

Answer 1

进一步深入了解hdfs -

要获取哪个目录的执行大小： hadoop fs -du -h /user/

Spark服务日志创建：

Spark标识创建的日志已识别，手动删除且群集恢复正常状态 -

Spark on在HDFS的位置创建日志 -

/user/spark/applicationHistory

日志文件大小为129GB。（已删除）

使用的命令 - （因为-rm将文件移动到废纸篓，我们需要从废纸篓中删除它，以便正确清理）

$ hadoop fs -rm /user/spark/applicationHistory/*

$ hadoop fs -rm -r  /user/cloudera/.Trash/Current