处理大数据?

时间:2011-05-01 21:42:23

标签: c# xml load large-data

我正在为我的应用程序使用WinForms和C#,我的数据主要是一些字符串,整数和许多列表。现在我将它们存储在xml和文本文件中,但我发现读取数据需要的时间太长。我正在使用XmlWriter和XmlReader。例如,我有4个xml文件,总共2-3 mbs我解析,~250个文本,我一次读取它们的内容。加载需要3-4分钟,我没有使用线程。这是正常还是其他事情发生了?我应该使用其他方式来存储我的数据吗?它是否必须这样做我只使用一个线程?

EDIT 我发现了这个问题。它与阅读无关(我认为)。无论如何,假设我的数据不会超过几MB,我应该使用数据库还是我对xml很好?

1 个答案:

答案 0 :(得分:0)

你可能大部分都是I / O绑定的,所以并行化不会有多大帮助 - 但它肯定不需要3到4分钟(更像是3到4秒) - 还有其他事情正在发生。

如果您有大型结构化数据,则应考虑使用数据库 - 然后您可以查询所需的数据,而不必一次加载所有内容。即SQL Server Compact在桌面应用程序中的占用空间非常小。