我每小时收到超过100万行,我需要一种方法来保存它们以供日后处理。
写入性能是最重要的因素,但我不知道哪种方法可以处理这么多数据。
我应该保存到XML,还是SQL Server数据库执行得那么快?
我应该将XML拆分为多个文件,以便我可以批量处理它们,还是只有一个非常大的文件?
我最好使用SQL Server数据库,因为它会使处理更容易,但我不知道它是否能够处理我将要处理的数据量。
我想保存的数据是:
// TODO: Data Structure here
答案 0 :(得分:0)
我通常喜欢数据库而不是写文件,特别是如果你在一小时内获得那么多行。我假设每小时会有100万个单独的文件?
数据库非常灵活,从bajillion xml文件中获取数据要容易得多。
如果数据库变得太大,您害怕性能,则可以存档一些旧数据并将其从主数据库中删除。