dfs.FSnameSystem.BlockCapacity最终减少

时间:2018-07-09 03:54:52

标签: apache-spark amazon-emr

我有一个小型应用程序,正在3个节点的'EMR'群集上运行。我有几GB的csv文件,这些文件分散在多个文件中。该应用程序读取csv文件,然后转换为“ .orc”文件。我有一个小程序,可以按顺序同步发送有限(少于10个)文件作为应用程序的输入。

我的问题是,一段时间后,群集最终将关闭,而没有留下任何痕迹(或者可能是我在寻找错误的位置)。在尝试找出各种选项之后,我在“神经节”中观察到dfs.FSNameSystem.BlockCapacity最终正在减小。

是因为应用程序还是服务器配置?如果您对此有任何了解,可以请他人分享吗?

0 个答案:

没有答案