hadoop fair scheduler打开文件错误？

Question

我正在测试公平调度程序模式以进行作业分配，但是我遇到了这样的错误 java.io.IOException：无法运行程序“bash”：java.io.IOException：error = 24，打开文件太多

google之后，他们中的大多数都会告诉我们系统当前打开了多少文件（通过unix命令lsof）以及该数字与系统限制的关系（通过bash命令检查ulimit -n）。在我看来，一次增加最大打开文件数是短期解决方案。

无论如何都要避免这种情况吗？

Answer 1

您的系统达到＃（最大打开文件）的限制这一事实，您可能需要检查：

1. 系统上运行了多少其他操作？
2. 他们是否大量打开了许多文件？
3. 您的hadoop作业本身是否大量打开了许多文件？
4. 系统上＃（最大打开文件）的当前限制是否太小？ （你可以谷歌出来的典型值）。如果它太小，可以考虑增加它

我认为增加＃（最大打开文件）限制将会有效。从长远来看，如果没有解决＃1，＃2和＃3，你可能会再次遇到这个问题。