我有更新点火缓存记录的代码逻辑,
缓存定义为:
IgniteCache<String, TreeMap<Long, InfoResultRecord>> txInfoCache;
密钥是缓存类型字符串,对于值,我使用TreeMap按顺序保存记录(我需要要订购的数据),但是用于更新的时间随着TreeMap大小的增加而增加,我发现的是当TreeMap大小在10K左右时,每次调用一条记录添加到缓存值树图是非常慢的,大约2秒,如果我有1K数据需要添加到Treemap,它将花费2000秒,它真的很慢而且不是可以接受的。
我使用invoke更新缓存以向Treemap添加记录:
txInfoCache.invoke(txType, new TxInfoProcessor(), record);
缓存的配置是:
CacheConfiguration<String, TreeMap<Long, InfoResultRecord>> cacheCfg =
new CacheConfiguration<>("TxInfoCache");
cacheCfg.setCacheMode(CacheMode.REPLICATED);
//cacheCfg.setStoreKeepBinary(true);
cacheCfg.setAtomicityMode(ATOMIC);
cacheCfg.setBackups(0);
txInfoCache = ignite.getOrCreateCache(cacheCfg);
和向Treemap添加记录的处理器是:
private static class TxInfoProcessor implements EntryProcessor<
String,
TreeMap<Long, InfoResultRecord>,
TreeMap<Long, InfoResultRecord>> {
@Override
public TreeMap<Long, InfoResultRecord> process(
MutableEntry<String,
TreeMap<Long, InfoResultRecord>> entry, Object... args) {
InfoResultRecord record = (InfoResultRecord) args[0];
final Long oneDayMsSeconds = 24 * 60 * 60 * 1000L;
TreeMap<Long, InfoResultRecord>
InfoResultRecordTreeMap = entry.getValue();
if (InfoResultRecordTreeMap == null) {
InfoResultRecordTreeMap = new TreeMap<>();
}
InfoResultRecordTreeMap.put(record.getDealTime() + oneDayMsSeconds, record);
entry.setValue(InfoResultRecordTreeMap);
return null;
}
}
有什么问题吗?或者我以错误的方式使用缓存?
我还编写了一个简单的测试代码来验证使用TreeMap获取/放置时的速度:
public class Server2 {
public static void main(String[] args) throws IgniteException {
try (Ignite ignite = Ignition.start("server-start.xml")) {
IgniteCache<String, TreeMap<Long, String>> testCache = ignite.getOrCreateCache("testCache");
testCache.put("my",new TreeMap<>());
while (true) {
StopWatch stopWatch = new StopWatch();
stopWatch.start("1");
TreeMap<Long, String> map = testCache.get("my");
stopWatch.stop();
stopWatch.start("2");
map.put(System.currentTimeMillis(),String.valueOf(new Random().nextInt(1000000000)));
testCache.put("my",map);
stopWatch.stop();
System.out.println("cacheSize:"+map.size()+","+stopWatch.prettyPrint());
}
}
}
}
cacheSize:1000,StopWatch '': running time (millis) = 195
-----------------------------------------
ms % Task name
-----------------------------------------
00080 041% 1
00115 059% 2
cacheSize:1001,StopWatch '': running time (millis) = 38
-----------------------------------------
ms % Task name
-----------------------------------------
00028 074% 1
00010 026% 2
cacheSize:3000,StopWatch '': running time (millis) = 139
-----------------------------------------
ms % Task name
-----------------------------------------
00055 040% 1
00084 060% 2
cacheSize:3001,StopWatch '': running time (millis) = 68
-----------------------------------------
ms % Task name
-----------------------------------------
00042 062% 1
00026 038% 2
当Treemap大小提升时,明确显示点火缓存get / put的消耗时间增加,我认为这应该是1~2ms,但是这里它的xx ms并且随着大小的增加它将达到xxxms甚至秒。
答案 0 :(得分:3)
很明显,在这种情况下,读/写时间会增长,因为在每次操作时都需要将数据从堆外复制到堆(反之亦然)并序列化/反序列化它,但是,我已经在本地检查你的代码,时间增长不是那么剧烈。例如,我得到了
cacheSize:10082,StopWatch '': running time (millis) = 18
-----------------------------------------
ms % Task name
-----------------------------------------
00009 050% 1
00009 050% 2
无论如何,我不认为你为你的用例选择了一个很好的解决方案 - 我建议你单独存储所有这些数据,即引入带有TreeMap字符串名称字段的键和一行的某些长键并存储这些按行划分的数据。使用它,您的写入操作将更快。此外,在这种情况下,您需要通过树形图名称collocate data。要请求所有数据,可以使用带有ORDER BY语句的SQL。并且不要忘记使用索引!