在Java中的MapReduce中存储大量全局变量

Question

如果我们需要使用多个reducer来减少作业，我们的全局变量存储在哪里，考虑到一个reducer不能为该作业的全局数据占用那么多内存。

它们是否存储在HDFS中并由每个reducer访问？

或者

我们需要明确。

Answer 1

否。它们不存储在HDFS中。我们不需要明确地做任何事情。

每个Reducer在一个单独的JVM和Reducer实例中运行，它将在jvm heap memory区域中保留自己的变量。因此每个Reducer都有自己的全局或局部变量实例。对象创建和存储与普通java程序相同。 Mapper或Reducer个对象没有什么特别之处。