可排序和可过滤表中的增量加载

时间:2017-06-21 16:58:22

标签: c# asp.net xml file-io disk-io

背景

我正在开发一个HTML表,其中包含大约50,000个小型(~4KB)XML文件的数据。每个XML都在表中提供一行,每个XML节点都是表的一列(每个文件有7个节点)。该表支持列级排序和过滤(就像您在Excel电子表格中看到的那样)。

问题

我一次性加载所有~50k文件,然后确定它们在内存中的顺序。这导致一些时间(加载时间过长~2分钟)和内存性能问题。我想知道其他人是如何解决这个问题的,或者他们是否有任何想法来解决这个问题。

我尝试了什么

增量加载似乎不是一个选项,因为我支持列级排序和过滤,我必须一次加载所有〜50k文件,然后确定它们在内存中的顺序。我看到人们将XML文件命名为具有所有可排序的列值,但由于我有许多具有大字符串的列,包括它们在名称中似乎不可行。

0 个答案:

没有答案