Apache策展人是否具有高性能?

时间:2015-07-10 16:12:22

标签: mpi distributed-computing apache-zookeeper distributed-system apache-curator

我对策展人和动物园管理员的所作所为有一个高层次的想法。但是,我不知道他们是在内存中还是在磁盘上管理信息。例如,屏障或分布式队列的“receipes”建议在特定路径上打开一个节点(节点是文件?);这些节点是在内存中维护还是在磁盘/ HDFS上的文件?我认为跨越机器的传统障碍现在需要通过策展人屏障来完成;因此,如果这些操作涉及繁重的操作,这些操作会不会很慢?

在性能方面,策展人屏障与传统MPI屏障相比如何?

1 个答案:

答案 0 :(得分:3)

ZooKeeper是一个基于仲裁的单一领导系统,因此,虽然它确实在内存中保持状态,但它受到领导者可以维持的吞吐量的限制。 ZooKeeper中的所有状态更改都通过领导者并同步复制并保留在大多数节点上,但可以在任何节点上进行读取。

在ZooKeeper中,节点(或znode)指的是一个保存在内存中并由磁盘支持的状态。它使用类似文件的界面,但znodes不映射到单个文件。磁盘并不意味着HDFS,它实质上意味着提交日志。

使用ZooKeeper获取锁或障碍所获得的是线性化。由于共识(法定人数)的限制,一致性成本相对较高。但ZooKeeper有一个很好的事件通知系统,可以帮助锁定和屏障等事情的性能。