hdfs核心节点盘满了，调查？

Question

我们在具有2个核心节点和1个主节点的aws上的hdfs顶部有一个火花簇。最近我发现所有作业都失败了，因为两个核心节点上的磁盘已满。经过进一步调查后发现：

/data/var/lib/hadoop/dfs/current/BP-*/current/finalized/subdir*/*已满。我能够看到数据，但我想知道的是哪个作业实际创建了这些文件占用了近600-700GB的空间，因此我们可以防止将来发生这种情况。有人可以告诉我在哪里/如何开始调查？

Answer 1

在4040上检查作业的UI ....你可能会发现一些东西。 否则，请告诉我们有关工作，数据和环境的更多详细信息。