我遇到的情况是我们从不同的客户端获取了大量的CSV文件,但是目标表所期望的列数和列长总是存在一些问题。
处理频繁更改的CSV文件的最佳方法是什么。我的目标是将这些CSV文件加载到Postgres数据库中。
我在Postgres中检查了\ COPY命令,但它确实有一个创建表的选项。
答案 0 :(得分:0)
您可以尝试创建一个pg_dump兼容文件,该文件具有相应的“创建表”部分,并使用它来加载您的数据。
答案 1 :(得分:0)
当你不得不按摩不同类型的数据时,我建议使用外部ETL工具,如CloverETL,Talend Studio或Pentaho Kettle进行数据加载。
\copy
真正用于在已知结构中导入格式良好的数据。