标签： arrays hadoop mapreduce limit skew
由于超出了VM限制，MapReduce处理失败。 我们发现的只是数据偏斜， 由于数据偏斜，MapReduce背后是否有任何理性失败？
答案 0 :(得分：0)
如果您的数据严重偏差，那么这意味着一个映射器或缩减器必须处理更多数据。这意味着它需要更多内存并运行更长时间。如果您积极设置群集的节点管理器内存，则可以轻松地淹没VM或节点。
这是一个常见的问题和足够大的问题，人们已经在上面写了论文。