通过S3中存储的AWS Athena读取相同格式的JSON和CSV

时间:2018-09-19 09:40:32

标签: json amazon-web-services amazon-s3 amazon-athena

我在存储桶中的S3文件夹中具有不同的数据格式-

Folder inside AWS S3 Bucket

创建的表在所有CSV,JSON和gz格式文件中具有相同的列。

Table in AWS Athena

现在我正在通过查询从雅典娜查询数据-

SELECT *
FROM test2
WHERE readtime >= '2016-10-12'
  AND readtime <  '2016-10-24'
ORDER BY readtime

我能够从CSV和GZ文件格式获取数据,但不能从JSON文件获取数据。 我是否必须使用其他格式来查询JSON文件? 和 我可以使用同一张表查询用于CSV文件的JSON文件吗?

2 个答案:

答案 0 :(得分:1)

您将需要在使用JsonSerDe的JSON文件顶部创建一个不同的表。

答案 1 :(得分:0)

是的,根据Tanveer的回答,您需要为JSON创建一个单独的表。但是,借助最近宣布的名为联合查询的功能(在撰写本文时,它在us-east-1的预览中),您应该能够用相同的查询来查询两个表。参见https://docs.aws.amazon.com/athena/latest/ug/writing-federated-queries.html