存储大型人口统计数据集的最佳方式

Question

我需要存储我为数据库中的研究收集的大量人口统计数据。我试图找出存储数据的好方法，例如：

http://factfinder2.census.gov/faces/tableservices/jsf/pages/productview.xhtml?pid=ACS_11_3YR_S0201&prodType=table

我的目标是以这样的方式存储所有这些数据，以便在需要时检索数据部分。我有兴趣检索的数据部分是“性别和年龄”部分数据或“按类型分类的家庭”部分。

我是设计数据库表等的新手。有人可以在这方面指导我吗？

澄清：

• 我的问题不在于数据量巨大。我遇到的问题是我收集的数据非常多样化。我想知道我是否应该在不同的表格中传播每一个。我应该为“性别和年龄”类别设置一个表，为“按类型分类”类别设置另一个表吗？
• 另一个问题是元数据信息。我需要知道对这个数据集的来源进行分类的信息等。
• 此时数据点本身可能不会达到数百万。我可能需要在州一级存储此信息。我的首要任务是数据需要易于检索。从多个表中的上述链接中的一个页面存储信息是将数据重新组合在一起非常棘手。还要记住什么进入什么表并不容易。

还有其他人必须存储这样的数据吗？什么解决方案最适合你？

Answer 1

虽然，你的问题相当模糊，但我认为“大”，你的意思是几百万行。如果您的数据大小仅限于此类数据，则可以简单地设计数据库并转储数据。由于您还要为此目的标记OLAP，因此您可能对创建OLAP多维数据集或类似内容感兴趣。 您必须收集数据，可能是平坦的txt文件，CSV文件，excel文件或类似的东西。 您还可以使用bcp导出/导入批量数据。请参阅此link。 此外，您可以将这些数据转储到SQL Sever（或任何其他您喜欢的）。创建表，然后如果要创建OLAP多维数据集，请创建维度和事实表。创建OLAP多维数据集。每当您需要与您的兴趣点相关的数据时，请浏览您的多维数据集。 如果您只对数据检索感兴趣，那么您可以轻松查询关系数据库。 我希望这对编辑你的问题有所帮助。