内存使用情况,SortedList与List问题

时间:2009-10-04 17:31:12

标签: c# .net performance memory collections

我在一个存储大约15-100K数据的类中使用了SortedList()。

最近我的要求发生了变化,数据不应再存储为已排序,因此我切换到了List()。

然而在这种情况下,我注意到List()消耗的内存大约增加了20%。

9K项目:

  • SortedList:105MB
  • 列表:125MB

15K项目:

  • SortedList:115MB
  • 列表:140MB

在我开发的环境中,记忆非常重要。而不是List()我可以使用什么来避免这种额外的内存消耗并仍然有一个非排序列表?

P.S。我使用HashSet(Of String)来提供唯一性检查,同时使用List(Of)来模拟SortedList.ContainsKey(),尽管我认为它不会带来这样的内存开销。

P.S。 2:我的应用程序在启动时已经有大约80 MB的基本内存分配。因此,数字应为105-80 = 25,125-80 = 45,依此类推

结果

感谢所有答案,最终结果是:

  • 您应该设置正确的容量以节省内存
  • Hashset对内存非常不满意,并且消耗的方式超出预期。这是问题所在。不知怎的,SortedList()设法使用更少的内存来实现类似的功能。

一些Bencmarks: 500个字符,250000个插入

列表(OF STring)(50000)

274 ms - 226 MB

SortedList(字符串,字符串)(50000)

34868 ms - 230 Mb

的Hashset

420 ms - 232 MB

字典(OF String,Object)

486 ms - 234 MB

虽然当我将减少的数量改为25时,然后:

Hashset 600.000次迭代300 Mb,其中 List()为286 Mb

关于Hashset内存使用情况:http://blog.mischel.com/2008/04/09/hashset-limitations/字典(字符串,对象)在我的测试中也没有那么好。

6 个答案:

答案 0 :(得分:9)

您是否预先分配了List<T>容量?

我做过的小实验:

此程序需要~640MB

List<int> list = new List<int>(0);

for (int i = 0; i < 100000000; i++)
{
    list.Add(i);
}

此程序需要大约320MB

List<int> list = new List<int>(100000000);

for (int i = 0; i < 100000000; i++)
{
    list.Add(i);
}

答案 1 :(得分:3)

具有9k项目的List<T>将具有9k到18k之间的容量,因此这些项目的开销将在36到72千字节之间(64位系统上的双倍)。

显然,72 kB甚至没有接近你看到的20 MB差异,因此列表本身的内存使用不是原因。特别是考虑到排序列表还必须保持对每个对象的引用,因此内存使用应该是相同的。

因此,要么存在使用内存的其他内容,要么您没有查看应用程序的实际内存使用情况。如果您正在查看任务管理器,那么您没有看到使用了多少内存,只看了内存管理器分配了多少内存。

答案 2 :(得分:2)

如果你已经有你的集合的HashSet,我不确定为什么你也需要一个List,但是如果你在寻找一个保证唯一性和ContainsKey()功能的容器,为什么不是一个通用的字典?

无论您对上述问题做出何种决定,使用类似任务管理器之类的东西都不太准确,无法决定.NET中的内存消耗。如果您还没有这样做,请试用SciTech's .NET Memory ProfilerANTS Profiler并运行您的应用。在加载您的设置之前和刚比较之后拍摄您的内存使用情况快照。您可以使用多种集合类型执行此操作,以高度准确的方式测量每种集合的相对内存使用情况。

答案 3 :(得分:1)

Hashsets(&amp; hashtables)使用大量内存!不仅仅是一个简单的列表/排序列表

答案 4 :(得分:0)

通过Wintellect查看Power Collections,这是STL类型集合的.NET等价物。我相信Set类型应该为您提供所需的功能(唯一性),但您必须进行基准测试以进行比较。我的2美分。

答案 5 :(得分:0)

我建议查看上釉清单(http://sites.google.com/site/glazedlists/)。这些非常快速的排序,并且记忆力很好。