我正在创建数据提取:
document.execCommand("ClearAuthenticationCache");
我能够将数据从MySQL传输到Kibana,但是我在处理MySQL表中的“Date”列时遇到了问题。
“日期”列在Kafka主题和ES文档中显示为EPOCH日期。
我们可以在Elasticsearch / Logstash部分将其转换为日期格式“yyyy-mm-dd”吗?
答案 0 :(得分:0)
直接回答您的问题:使用Elasticsearch动态模板将日期字段定义为date
,然后Elasticsearch将正确解释纪元值。
你知道你根本不需要Logstash吗?您可以将Elasticsearch接收器用于Kafka Connect。您可以获得此separately,或Confluent Platform的一部分。
你会想要关注我在这里写的这个博客系列,它正构建了这个管道(MySQL - > Kafka - > Elasticsearch):https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/