Logstash,将复杂的数据库数据同步到elasticsearch

时间:2019-11-30 13:46:12

标签: elasticsearch logstash celery

我正在尝试实现类似https://www.elastic.co/blog/how-to-keep-elasticsearch-synchronized-with-a-relational-database-using-logstash的东西,其中它使用logstash jdbc输入和elasticsearch输出

我可以使其与简单查询一起使用。

但是,要正确准备(序列化)数据(具有多个联接等)以进行输出变得越来越困难。
(当您具有来自多个表的数据并且需要为ES正确格式化数据时,在sql查询中很难做到这一点)

我想知道是否可以用python而不是sql来编程序列化部分。

我可以通过执行定期的芹菜任务来做到这一点。 在logstash中执行此操作是否可行,或者实际上在logstash中执行此操作有什么好处?

0 个答案:

没有答案