MySQL Kafka ELK堆栈日期问题

时间:2017-08-14 22:43:00

标签: mysql elasticsearch elastic-stack apache-kafka-connect

我正在创建数据提取:

document.execCommand("ClearAuthenticationCache");

我能够将数据从MySQL传输到Kibana,但是我在处理MySQL表中的“Date”列时遇到了问题。

“日期”列在Kafka主题和ES文档中显示为EPOCH日期。

我们可以在Elasticsearch / Logstash部分将其转换为日期格式“yyyy-mm-dd”吗?

1 个答案:

答案 0 :(得分:0)

直接回答您的问题:使用Elasticsearch动态模板将日期字段定义为date,然后Elasticsearch将正确解释纪元值。

你知道你根本不需要Logstash吗?您可以将Elasticsearch接收器用于Kafka Connect。您可以获得此separately,或Confluent Platform的一部分。

你会想要关注我在这里写的这个博客系列,它正构建了这个管道(MySQL - > Kafka - > Elasticsearch):https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/