如何使用JSON中的AWS Glue Crawler分类器创建Athena模式?

时间:2018-09-09 09:55:51

标签: json amazon-web-services aws-glue

我使用的是这样的简单JSON格式:

[{"key":"value"},{"key":"value"}]

当我将JSON路径设置为$ [*]并运行搜寻器时,它会正确创建架构,但无法正确读取数据。

我在JSON文件中播放并删除了方括号[],它仅读取第一行(因为它不再是数组)。看起来JSON文件应如下所示才能在AWS Athena中运行:

{"key":"value"}
{"key":"value"}

反正我可以通过在AWS Glue中配置JSON路径来读取这种格式的JSON文件吗?

1 个答案:

答案 0 :(得分:0)

我认为它第一次没有正确读取数据,因为您需要将文件放在文件夹下。属于同一表的所有文件应位于同一文件夹内。如果您将多个不同的文件放在同一S3位置,则搜寻器将能够正确识别架构;但查询表不会返回任何数据。这是使用AWS Glue的众多陷阱之一。我最近写了一个博客。如果有帮助,请查看link