Elasticsearch,使用logstash在索引时间连接两个索引

时间:2019-03-27 08:08:16

标签: elasticsearch join logstash

好的,elasticsearch不会为您执行连接。 因此,您应该在索引时间对整个数据进行联接和索引。

我认为这可能是一个常见的情况,并且可能有一个我不知道的解决方案。

我在想什么,

client => logstash => elasticsearch(与client => elasticsearch相对)

  1. 当客户端为文档建立索引时,该文档将被发送到logstash 例如:user-id, item-id, purchase-time
  2. logstash查看该字段,并找到用于join的预定义字段。
    给定user-id,从user中检索user-index
    给定item-id,从item中检索item-index
    在购买记录中添加useritem字段。

  3. logstash将文档(user-id, user, item-id, item, purchase-time)索引到购买索引中

为此,

  1. 为logstash设置http输入
  2. 使用elasticsearch过滤器插件从其他索引中检索数据
  3. 使用elasticsearch输出插件为文档建立索引

  4. 为每个要join

  5. 的情况创建单独的logstash.conf文件

还有更好的选择吗?

0 个答案:

没有答案