如何在Athena中使用多种文件格式

时间:2018-10-31 09:42:56

标签: amazon-web-services amazon-s3 amazon-athena

我在s3存储桶目录中有多个具有不同格式(csv,json和Parquet)的文件(所有文件都在同一目录中)。所有文件都具有相同的结构。如何使用这些文件创建Athena表?

我们是否有准备在创建表时提供​​不同的Serde?

编辑:创建表,但是预览表时没有数据。

1 个答案:

答案 0 :(得分:0)

有一些选项,但是我认为最好为每种类型的文件创建单独的路径(文件夹),并对每个文件运行Glue Crawler。您将有多个表,但是可以使用Athena视图将它们合并,也可以通过使用Glue(例如)将这些文件转换为一种格式。

如果要将文件放在一个文件夹中,可以在“胶粘剂搜寻器”中使用包含和排除模式。同样,在这种情况下,您将必须为每种文件类型创建单独的表。

https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html