Question

以最高效的方式（同一千万个记录大约一千字节的记录）用同一集群中另一个缓存中的数据更新Ignite缓存中每个现有值的字段的最佳方法是什么？

伪代码：

try (mappings = getCache("mappings")) {
    try (entities = getCache("entities")) {
        entities.foreach((key, entity) -> entity.setInternalId(mappings.getValue(entity.getExternalId());
    }
}

Answer 1

我建议使用compute，并将闭包发送到缓存拓扑中的所有节点。然后，在每个节点上，您将遍历本地主集并进行更新。即使采用这种方法，您最好还是分批打包更新，并通过putAll调用发布更新（或者可以使用IgniteDataStreamer）。

注意：对于以下示例，重要的是“映射”和“实体”缓存中的键必须相同或位于同一位置。有关并置的更多信息在这里： https://apacheignite.readme.io/docs/affinity-collocation

伪代码如下所示：

ClusterGroup cacheNodes = ignite.cluster().forCache("mappings");

IgniteCompute compute = ignite.compute(cacheNodes.nodes());

compute.broadcast(() -> {
    IgniteCache<> mappings = getCache("mappings");
    IgniteCache<> entities = getCache("entities");

    // Iterate over local primary entries.
    entities.localEntries(CachePeekMode.PRIMARY).forEach((entry) -> {
       V1 mappingVal = mappings.get(entry.getKey());
       V2 entityVal = entry.getValue();

       V2 newEntityVal = // do enrichment;

       // It would be better to create a batch, and then call putAll(...)
       // Using simple put call for simplicity.
       entities.put(entry.getKey(), newEntityVal);
    }
});

使用Ignite群集中另一个缓存中的数据来丰富缓存中的每个现有值

1 个答案: