查询通过雅典娜存储的s3的csv表

Question

最近，我们开始将备份存储在AWS s3中。我们需要通过aws athena查询所有的csv文件。 我们试图一张一张地插入表，但是花费的时间太长了，这是相当数量的数据。是否可以使用任何API或已设置好的东西？ 我们本来会做些火花，但是也许有一种更简单的方法，或者已经完成了一些事情。 谢谢

Answer 1

您可以简单地在CSV文件顶部创建具有所需属性的外部表。

参考：Create External Table on AWS Athena

您还可以使用Glue Crawler并将其配置为自动为您填充表格。

参考：Cataloging tables with a crawler

有多种可用的AWS开发工具包（here）用于自动化您的任务，例如将文件上传到S3，创建雅典娜表或通过胶粘钳对表进行分类。