使用AWS Data Pipeline在RDS postgres数据库的CSV导出中包含列标题？

Question

我设置了一个AWS数据管道，它将数据从我们的RDS postgres db转储到S3位置，但不包括列标题。我想避免使用概述here的解决方案，因为它似乎很脆弱（如果列更改，也希望避免将列转换为字符串）。提前致谢

编。 以下是数据管道配置：diagram

Answer 1

我不确定你是如何设置管道的（你没有描述它），但是包含列标题的标准方法 - 使用裸PostgreSQL - 是

COPY (SELECT some,fields FROM any.table ORDER BY something) TO STDOUT WITH (FORMAT csv, HEADER on);

接收此类流可能会很棘手，并非所有DI工具都支持它 - 但引擎会以适当的CSV格式生成它。

Answer 2

我也找不到解决方案，但可能的解决方法是将临时目标文件夹用于数据管道并使用 Lambda 函数获取这些转储、添加标头并将它们移动到最终目标.这种方法的最佳之处在于列名不是硬编码的，因此如果表更改，CSV 也会更改。