我使用elasticsearch 6.2.2作为flink中的接收器,但是在阅读apache flink文档时,我可以看到elasticserver版本5.x的连接器,但是没有提到6.x的连接器。
flink是否支持elasticsearch 6.x的任何连接器?或者我应该制作任何http客户端并发布帖子请求以便每次创建或更新新文档?或者是他们的任何其他技术?
答案 0 :(得分:0)
Flink 1.4.x没有为Elasticsearch 6.x提供连接器,并且所包含的连接器仅适用于Elasticsearch 5.1.x(由于Elasticsearch客户端在5.2.x中的API中断更改)。
Flink的JIRA中有一个未解决的问题,即跟踪Elasticsearch 6.x支持的进度FLINK-8101。
答案 1 :(得分:0)
作为@ fabian-hueske答案的解决方法,您可以执行以下操作:
1)您可以编写一个自定义Http接收器,使用Elasticsearch REST API将您的数据发送到Elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html
2)您还可以使用以下图书馆https://github.com/sksamuel/elastic4s创建自定义接收器,以通过TCP连接到Elasticsearch