如何存储大量无组织的相关数据并在收到时对其进行整理？

Question

我正在为客户编写程序。他们发送给我们的数据本质上是来自关系数据库的信息，这些数据被压平，导致完全巨大的逗号分隔文本文件，其中包含极其冗余的信息，每行只有少数字段在变化。

我正在将其读入一个类型化数据集，并基本上将我正在进入第三范式的数据组织起来，这大大减少了绝对数量的冗余。从那里，我将数据集中的数据转换为XML并将其发送到另一个程序以创建表单和语句。

然而，我想知道是否有更好的方法来解决这个问题。它可能没有我想象的那么糟糕，但我无法摆脱这种感觉，即更好，更快的方式。重要的是，数据是有组织的，易于理解的，并且在将数据转换为XML之前，它是经过约束检查和验证的。

由于没有数据需要持久存在（实际上它不应该存在），如果我在每次使用后最终都要清除它，那么实际的RMDB似乎并不值得。

该计划还需要在无数的环境中运行;我的工作站是Windows 7 64位，测试服务器是Windows XP 32位，生产服务器是Windows 7 64位或32位，具体取决于它正在运行的服务器。

Answer 1

恕我直言，然后我将从SQL Express开始 - 它旨在通过这些类型的数据量，并将适应您正在运行的不同平台;如有必要，它可以扩展到更大的版本;在SSMS中，您可以使用工具轻松检查中间结果等，并且导入.csv非常简单。它是免费的。 由于上述所有原因，我会尝试SQL Express并评估其真实性能。 回到你原来的问题，我的观点是，这是一个合理的方法;我不认为你错过任何东西。