使用AWS Data Pipeline在CSV / TSV文件中创建列标题？

Question

我正在创建CSV＆amp;使用AWS Data Pipeline的TSV文件。文件创建得很好，但我无法弄清楚如何使用列标题创建文件。

首先，我希望根据我正在运行的SQL查询自动生成标头以获取导出。这没用，但没关系。

然后我在DefaultDataFormat3功能/节点的“column”属性中添加了列定义列表。

{
  "escapeChar": "\\",
  "name": "DefaultDataFormat3",
  "column": [
    "id INT",
    "field1 STRING",
    "field2 STRING"
  ],
  "columnSeparator": "|",
  "id": "DataFormatId_jEXqL",
  "type": "TSV",
  "recordSeparator": "\\n"
}

我仍然只是在导出中获得没有标题行的CSV和TSV。

Answer 1

我遇到blog post解释了解决此问题的方法。如果您对数据使用查询，则可以添加列名作为第一个结果：

SELECT 'firstName', 'lastName', 'email'
UNION ALL
SELECT firstName, lastName, email
FROM users