Question

在我们的Hadoop集群（Cloudera发行版）中，我们最近发现Hive Job是由用户在＆＃39; / tmp＆＃39;中创建的160 TB文件启动的。位置，它几乎消耗了剩余的HDFS空间，并即将导致中断。之后我们排除故障并终止特定工作，因为我们无法联系到开始此工作的用户。

所以现在我的问题是我们能否为＆＃39; / tmp＆＃39;设置警报。如果有人创建了大量文件，或者我们需要限制使用HDFA配额的用户。如果您有任何其他建议，请分享。

Answer 1

您可以使用以下命令集

设置和管理目录的配额

match

*其中N是您要设置的字节数

希望这有助于您的方案。

Answer 2

您还可以从处理方管理Yarn资源池中Cloudera Manager的资源。您可以限制分配给群集上运行的每个用户或服务的最大内核和内存。