如何将AWS S3（JSON / CSV格式）上的数据插入，删除和更新到AWS Elasticsearch Service

Question

我正在将数据摄取从AWS s3设置为AWS Elasticsearch Service。

传入数据将为json或csv格式，并且必须为

1. 如果elasticsearch对于id列没有任何记录，则插入
2. 从Elasticsearch删除并插入新记录（如果id在Elasticsearch中已经存在）

这些文件可以在一天中的任何时间进入s3，一旦有弹性搜索就需要对其进行更新。

谢谢

Answer 1

您是否尝试过使用logtash使用https://www.elastic.co/guide/en/logstash/current/plugins-inputs-s3.html来监视s3存储桶并输出到弹性集群中？

在logstash管道中，您需要检查每个传入数据的json或csv格式，并根据您的Elasticsearch索引映射对其进行转换。

可以通过显式设置每个文档的_id来归档插入或更新功能。