S3中的多个JSON文件清单

Question

我正在尝试使用S3清单创建快速见解数据源。 S3中的数据是多个JSON文档。数以百万计的。我可以使用单个文档来创建数据集，如下所示：

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/doc1.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

但是，我想要所有的JSON文档。我正在尝试这样做而没有成功：

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/*.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

如何在S3上为JSON文档创建通配符清单？

Answer 1

以下内容应将所有文件存储在存储桶中

{
    "fileLocations": [
        {
            "URIPrefixes": [ 
                "s3://my-bucket/"          
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}