我有一堆Hadoop MapReduce
个应用程序(工作),需要分享一些生活资源。小键值存储。实际上,它是关于在作业进程中根据某些字符串标准生成的字符串ID。
所以它看起来像共享Map<String,String>
,它可以被修改,值在MapReduce
作业组件之间共享(在我的情况下是映射器,但没关系)。
方法我认为可见Apache ZooKeeper
。我已在Hadoop
群集上提供此服务。在这种情况下我需要的是可靠的ZooKeeper
- 动力KeyValue
存储。目前我认为它是已申报的应用程序之一,但我没有看到良好的实施。有什么建议吗?我发现在这种情况下我需要短暂的节点(因为MapReduce作业的生命周期有限)。
我发现目前最好的选择是Curator
框架,其中包含SharedValue
类,看起来就像我需要的那样。但我没有看到任何在食谱或例子中使用它的例子。任何一个例子?
任何其他良好的实施方法或为此问题准备好开箱即用的解决方案? 提前谢谢。