亚马逊雅典娜和压缩的S3文件

Question

我有一个带有多个压缩CSV文件的S3存储桶（利用率日志。）我想用Athena查询这些数据，但输出完全出现乱码。

Athena似乎试图解析zip文件而不先解压缩它们。是否可以强制Hive将我的文件识别为压缩数据？

Answer 1

支持Athena压缩，但支持的格式为

• Snappy（.snappy）
• Zlib（.bz2）
• GZIP（.gz）

这些格式由其文件名后缀检测。如果后缀不匹配，则阅读器不会对内容进行解码。 我用test.csv.gz文件对它进行了测试，并立即运行。所以尝试将压缩从zip更改为gzip，它应该可以工作。