我正在S3存储桶清单上运行SELECT Athena查询。然后,我想在S3 Batch操作中以.csv格式使用该查询的结果。
我的查询运行正常,并且能够通过S3 Batch访问.csv输出,但是由于第一行实际上是列标题,因此S3 Batch抛出不可恢复的错误,因为它认为清单现在正在引用多个存储桶
如何轻松地从结果中删除列标题?我宁愿只在SQL中执行此操作。该文件大小使使用标准的UNIX工具成为可能。我可以使用AWS Glue,但这似乎只是在抑制SQL查询中的标头方面就显得过分了。
答案 0 :(得分:2)
这是一种解决问题的方法
SELECT bucket as "my-bucket-name", key as "fakekey"
from your_athena_table
这将使您的标题看起来像文件的其余部分,不会破坏S3批处理复制作业。您将只有一条失败的假密钥记录