将大型csv导入规范化的关系数据库(具有多个表)的最佳实践是什么

时间:2018-11-30 16:12:36

标签: mysql sql database postgresql csv

这是我的数据库的结构。目前,我有一个BIG csv文件,其中包含所有字段。我正在考虑几种解决方案:

  1. 将csv拆分为多个文件,对其进行规范化,然后将所有csv导入SQL。
  2. 先将大型csv导入SQL,然后在数据库中拆分它们

我仍处于学习SQL的阶段,因此我想找到一种天真的导入数据的方法。有什么建议么? enter image description here

1 个答案:

答案 0 :(得分:2)

这个评论太长了。

我会将您巨大的CSV文件带到暂存表中-如果可能存在数据转换问题,您甚至可能希望所有字段都是字符串。

然后,使用登台表在数据模型中创建表。如果您使用的是Postgres,则实际上可以设置一组CTE,以一个表达式将其加载到所有表中。