如何激活和配置ElasticSearch Kafka Connect接收器?

时间:2018-12-13 17:18:59

标签: elasticsearch kubernetes apache-kafka confluent kubernetes-helm

我正在尝试使用头盔在Kubernetes集群中设置Kafka。

我已经使用非常完整的Confluent helm chart来安装Kafka。

然后我尝试查看如何配置elastic Kafka connect sink。有一点特别吸引我:confluent load elasticsearch-sink命令。启动容器时如何重现? 此外,要配置弹性,我必须设置一个属性文件。我使用ConfigMap正确吗?但是我很困惑,因为我必须更改由头盔生成的YAML配置,这似乎没有那么可重复...

有人建议吗?

1 个答案:

答案 0 :(得分:3)

  

尤其让我感动的是:confluent load elasticsearch-sink命令

confluent命令仅可用于localhost开发/入门环境,仅 。因此,它不会知道Kubernetes(例如,您将需要一个Ingress控制器来公开Connect REST API)。

  

我有权使用ConfigMap吗?

我认为那是不对的。至少不要在Kafka Connect的操作员框架之外(如果存在)。

连接为configured through a JSON REST API

因此,在启动时也无法加载配置。需要手动对其进行POST,然后该配置将保留在Kafka的CONNECT_CONFIG_STORAGE_TOPIC中。

在内部,confluent load实际上是curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors