背景
我正在开发一个HTML表,其中包含大约50,000个小型(~4KB)XML文件的数据。每个XML都在表中提供一行,每个XML节点都是表的一列(每个文件有7个节点)。该表支持列级排序和过滤(就像您在Excel电子表格中看到的那样)。
问题
我一次性加载所有~50k文件,然后确定它们在内存中的顺序。这导致一些时间(加载时间过长~2分钟)和内存性能问题。我想知道其他人是如何解决这个问题的,或者他们是否有任何想法来解决这个问题。
我尝试了什么
增量加载似乎不是一个选项,因为我支持列级排序和过滤,我必须一次加载所有〜50k文件,然后确定它们在内存中的顺序。我看到人们将XML文件命名为具有所有可排序的列值,但由于我有许多具有大字符串的列,包括它们在名称中似乎不可行。