Zookeeper支持共享地图(小KeyValue存储)

时间:2014-04-23 21:07:13

标签: java hadoop mapreduce apache-zookeeper apache-curator

我有一堆Hadoop MapReduce个应用程序(工作),需要分享一些生活资源。小键值存储。实际上,它是关于在作业进程中根据某些字符串标准生成的字符串ID。

所以它看起来像共享Map<String,String>,它可以被修改,值在MapReduce作业组件之间共享(在我的情况下是映射器,但没关系)。

方法我认为可见Apache ZooKeeper。我已在Hadoop群集上提供此服务。在这种情况下我需要的是可靠的ZooKeeper - 动力KeyValue存储。目前我认为它是已申报的应用程序之一,但我没有看到良好的实施。有什么建议吗?我发现在这种情况下我需要短暂的节点(因为MapReduce作业的生命周期有限)。

我发现目前最好的选择是Curator框架,其中包含SharedValue类,看起来就像我需要的那样。但我没有看到任何在食谱或例子中使用它的例子。任何一个例子?

任何其他良好的实施方法或为此问题准备好开箱即用的解决方案? 提前谢谢。

0 个答案:

没有答案