在我的Python函数中,我将Athena查询的结果保存到S3存储桶中,然后需要将其复制到Redshift中。
我正在使用boto3.client.get_query_execution
将结果csv文件保存到s3存储桶时,它将使用查询ID保存
例如:s3://my-bucket/temp/31d84270-888d-406b-8b65-cabaa1c89184.csv
并且还会保存一个元数据文件,如下所示:
s3://my-bucket/temp/31d84270-888d-406b-8b65-cabaa1c89184.csv.metadata
因此,当我尝试复制csv文件时,它尝试同时复制csv文件和失败,因为元数据文件与表格不兼容+我不需要。
我试图在复制发生之前删除文件,我发现有很多不同的选项可以在网上搜索,但是它们都没有用,我仍然可以在s3上看到文件,没有错误。一些选项只能运行一次,然后无法删除接下来的5次尝试(删除部分的消息没有错误)。
有什么建议吗?