将SQL Dump + API结果导入ES

时间:2018-10-28 18:30:10

标签: elasticsearch logstash

我即将开始从其中一个系统导入SQL Dump和API响应。但是我已经意识到那些数据转储和API响应将始终包含相同的信息,而且: -某些数据可能会更新(例如带有用户详细信息和last_login_time的表) -某些数据可能会被删除(用户已删除其帐户) -可能会添加一些数据(添加了新用户)。

如何在ES中处理此问题?由于db_path根本没有帮助,因此仅对流数据有用。即使曾经检测到SQL Dump仅包含一条记录,筛选器也会失败,因为Logstash尝试仅对新数据使用筛选器。为什么?因为dump是JSON格式的,并且过滤器首先运行'split'模块,这显然不适用于已更改的那小部分数据。

有什么想法吗?

0 个答案:

没有答案