Logstash jdbc将外部联接作为子文档

时间:2016-02-24 15:12:35

标签: elasticsearch logstash logstash-jdbc

我正在使用Logstash jdbc插件将MySQL数据导入ElasticSearch。由于左外连接,我最终得到一个'父行'的多个'子行'。假设1个用户有1个或更多文档。我尝试group_concat文档的文本,然后按用户ID分组以保留每个用户1行。

但是,MySQL的group_concat的长度限制为1024 ...

有没有人知道完全克服group_concat并将左外连接作为嵌套文档处理的解决方案?

感谢名单

1 个答案:

答案 0 :(得分:1)

默认值为1024,但您可以使用

增加entity instanceof MyInterface的允许长度
GROUP_CONCAT

或您认为必要的长度(更多信息in the official docs

我在复杂的OUTER JOIN中使用它来创建许多子对象/文档,到目前为止它工作得非常好。