将数据从雪花迁移到Elasticsearch

Question

我们在我的项目中使用了雪花数据仓库，我们希望用Elasticsearch替换雪花，作为项目增强POC的一部分， 我没有找到任何将数据从雪花移动到Elasticsearch的解决方案。 谁能帮助我解决以上问题。 请分享足够的信息，步骤等。 预先感谢

没有发现有关数据迁移的任何线索。

Answer 1

您可以尝试将其分为2个步骤：

• 将数据从Elastic导出到AWS S3存储桶
• 将数据从AWS S3存储桶加载到雪花。

Answer 2

您需要在架构级别实施迁移。此外，如果您指定带有问题的问题。回答并指导您将很有帮助。

Answer 3

您可以使用COPY命令将数据从Snowflake导出到文件，然后可以将其加载到另一个系统。但是，我很想知道为什么您要尝试用Elasticsearch替换Snowflake，因为这是两种不同的技术，它们的功能完全不同。

Answer 4

您可以从Snowflake S3复制命令中导出数据。 多部分导出，使您的s3存储桶中的文件很小。 然后，您可以将lambda钩在S3 PUT对象上。因此，在每个文件上传时，lambda都会触发。 您可以在Lambda中编写代码以对Elasticsearch进行其余调用。