reducer会脱离java堆空间

Question

我正在使用Hadoop实现一个程序。 我的问题是如何处理java空间问题，我在xml文件中添加了一些属性配置，但它没有用。越来越多的减速器对我来说也不起作用。因为在我的程序中每个reducer需要大的稀疏整个矩阵，我不允许改变这个逻辑。 然而，每个reducer都将收到一个以列id为键，列向量为value的条目。是否有任何方法可以摆脱这种困境？

PS：我首先想到的是reducer将逐个列，这不会导致内存不足问题。但似乎不是这样。 实际上，我正在尝试实现一篇论文中描述的算法。减速器的算法如下所示。第11行是我提到的列，每个reducer都有矩阵的每一列。

Answer 1

你使用像hadoop这样的东西是因为你不能将整个数据集放入内存中。要么你不改变逻辑并试图找到一个足够大的计算机，要么并行算法并利用hadoop。