在map-reduce任务中共享全局数组

Question

我需要在所有map和reduce任务中保留一个全局字符串数组，每个任务都可以在运行时更新。

是否可以在hadoop 1.2.1中执行此操作？

据我所知，计数器只能使用long类型，而分布式缓存文件是只读的。

如果有人能指出这个问题会很棒。

谢谢！

Answer 1

你真的不应该在map-reduce程序中拥有共享变量。

但如果你真的需要它，请检查zookeeper，它是一个分布式协调服务，是hadoop生态系统的核心部分。您可以使用它来存储任何类型的共享数据，包括字符串数组。