BizTalk至Amazon Red Shift

Question

我们有此要求，以便将json数据从供应商加载到Amazon RedShift。

为达到此目的，推荐的解决方案是什么？

Answer 1

如Red Boy所建议，如果要将数据加载到redshift内部存储器中，并在copy命令中指定json作为文件类型，则可以使用copy命令。但是，如果您想利用Redshift Spectrum将数据保留在s3中，并仅在Redshift中创建一个外部表，那么在这种情况下，您可以执行以下操作-

1. 将json文件加载到s3文件夹中
2. 使用AWS Glue搜寻器搜寻s3文件夹。它将自动推断文件的架构，并将表注册到Glue目录中。
3. 一旦在上述步骤中注册了表，就可以使用AWS Athena，AWS Redshift和EMR（Hive，Spark）对其进行查询

采用这种方法，您无需在内部将数据存储到Redshift中，并且可以在胶目录中使用模式演变选项。