hazelcast map-reduce只使用一个cpu核心

时间:2015-02-27 14:26:20

标签: multithreading mapreduce hazelcast infinispan

我在单节点hazelcast集群上运行map-reduce作业,它只消耗大约一个CPU(120-130%)。我无法找到如何配置hazelcast来吃掉所有可用的CPU,这有可能吗?

编辑: 虽然Hazelcast不支持节点内并行性,但另一个竞争的开源内存数据网格(IMDG)解决方案确实如此 - Infinispan。请参阅this article以了解详情。

1 个答案:

答案 0 :(得分:1)

映射和减少的当前实现是单线程的。 Hazelcast不是作为单节点环境运行的,而map-reduce框架的设计方式是支持横向扩展而不是耗尽整个CPU。您可以在计算机上启动多个节点以并行化处理并以这种方式利用CPU,但在我看来,您可能会使用Hazelcast来解决它无法解决的问题。你能详细说明你的用例吗?