Hadoop减少了成功完成的工作,但进程仍然存在并记忆

时间:2014-04-12 16:53:37

标签: hadoop

有一个4节点的hadoop集群。其中一个主节点有一个奇怪的错误,即reduce进程完成了这个工作,但它没有终止。它会使记忆迅速超过。

我不知道是什么导致了这个问题,但它只发生在一个节点上,其他都没问题。也没有任何关于工作的错误报告,只有一个流程什么都不做。

1 个答案:

答案 0 :(得分:0)

我发现问题是。我使用了一个可以在重载时打开多线程的库。如果线程永不停止,则进程仍然在运行。