Question

我有更新点火缓存记录的代码逻辑，

缓存定义为：

IgniteCache<String, TreeMap<Long, InfoResultRecord>> txInfoCache;

密钥是缓存类型字符串，对于值，我使用TreeMap按顺序保存记录（我需要要订购的数据），但是用于更新的时间随着TreeMap大小的增加而增加，我发现的是当TreeMap大小在10K左右时，每次调用一条记录添加到缓存值树图是非常慢的，大约2秒，如果我有1K数据需要添加到Treemap，它将花费2000秒，它真的很慢而且不是可以接受的。

我使用invoke更新缓存以向Treemap添加记录：

txInfoCache.invoke(txType, new TxInfoProcessor(), record);

缓存的配置是：

CacheConfiguration<String, TreeMap<Long, InfoResultRecord>> cacheCfg =
        new CacheConfiguration<>("TxInfoCache");
cacheCfg.setCacheMode(CacheMode.REPLICATED);
//cacheCfg.setStoreKeepBinary(true);
cacheCfg.setAtomicityMode(ATOMIC);
cacheCfg.setBackups(0);
txInfoCache = ignite.getOrCreateCache(cacheCfg);

和向Treemap添加记录的处理器是：

private static class TxInfoProcessor implements EntryProcessor<
        String,
        TreeMap<Long, InfoResultRecord>,
        TreeMap<Long, InfoResultRecord>> {

    @Override
    public TreeMap<Long, InfoResultRecord> process(
            MutableEntry<String,
                    TreeMap<Long, InfoResultRecord>> entry, Object... args) {

        InfoResultRecord record = (InfoResultRecord) args[0];

        final Long oneDayMsSeconds = 24 * 60 * 60 * 1000L;

        TreeMap<Long, InfoResultRecord>
                InfoResultRecordTreeMap = entry.getValue();

        if (InfoResultRecordTreeMap == null) {
            InfoResultRecordTreeMap = new TreeMap<>();
        }


        InfoResultRecordTreeMap.put(record.getDealTime() + oneDayMsSeconds, record);
        entry.setValue(InfoResultRecordTreeMap);

        return null;
    }
}

有什么问题吗？或者我以错误的方式使用缓存？

我还编写了一个简单的测试代码来验证使用TreeMap获取/放置时的速度：

public class Server2 {

    public static void main(String[] args) throws IgniteException {
        try (Ignite ignite = Ignition.start("server-start.xml")) {

            IgniteCache<String, TreeMap<Long, String>> testCache = ignite.getOrCreateCache("testCache");
            testCache.put("my",new TreeMap<>());

            while (true) {
                StopWatch stopWatch = new StopWatch();
                stopWatch.start("1");
                TreeMap<Long, String> map = testCache.get("my");
                stopWatch.stop();
                stopWatch.start("2");
                map.put(System.currentTimeMillis(),String.valueOf(new Random().nextInt(1000000000)));
                testCache.put("my",map);
                stopWatch.stop();

                System.out.println("cacheSize:"+map.size()+","+stopWatch.prettyPrint());
            }
        }
    }
}


cacheSize:1000,StopWatch '': running time (millis) = 195
-----------------------------------------
ms     %     Task name
-----------------------------------------
00080  041%  1
00115  059%  2

cacheSize:1001,StopWatch '': running time (millis) = 38
-----------------------------------------
ms     %     Task name
-----------------------------------------
00028  074%  1
00010  026%  2


cacheSize:3000,StopWatch '': running time (millis) = 139
-----------------------------------------
ms     %     Task name
-----------------------------------------
00055  040%  1
00084  060%  2

cacheSize:3001,StopWatch '': running time (millis) = 68
-----------------------------------------
ms     %     Task name
-----------------------------------------
00042  062%  1
00026  038%  2

当Treemap大小提升时，明确显示点火缓存get / put的消耗时间增加，我认为这应该是1~2ms，但是这里它的xx ms并且随着大小的增加它将达到xxxms甚至秒。

Answer 1

很明显，在这种情况下，读/写时间会增长，因为在每次操作时都需要将数据从堆外复制到堆（反之亦然）并序列化/反序列化它，但是，我已经在本地检查你的代码，时间增长不是那么剧烈。例如，我得到了

cacheSize:10082,StopWatch '': running time (millis) = 18
-----------------------------------------
ms     %     Task name
-----------------------------------------
00009  050%  1
00009  050%  2

无论如何，我不认为你为你的用例选择了一个很好的解决方案 - 我建议你单独存储所有这些数据，即引入带有TreeMap字符串名称字段的键和一行的某些长键并存储这些按行划分的数据。使用它，您的写入操作将更快。此外，在这种情况下，您需要通过树形图名称collocate data。要请求所有数据，可以使用带有ORDER BY语句的SQL。并且不要忘记使用索引！

当值为Treemap并且treemap中的数据增加到10K时，Ignite缓存调用更新非常慢

1 个答案: