我正在尝试使用头盔在Kubernetes集群中设置Kafka。
我已经使用非常完整的Confluent helm chart来安装Kafka。
然后我尝试查看如何配置elastic Kafka connect sink。有一点特别吸引我:confluent load elasticsearch-sink
命令。启动容器时如何重现?
此外,要配置弹性,我必须设置一个属性文件。我使用ConfigMap正确吗?但是我很困惑,因为我必须更改由头盔生成的YAML配置,这似乎没有那么可重复...
有人建议吗?
答案 0 :(得分:3)
尤其让我感动的是:
confluent load elasticsearch-sink
命令
confluent
命令仅可用于localhost
开发/入门环境,仅 。因此,它不会知道Kubernetes(例如,您将需要一个Ingress控制器来公开Connect REST API)。
我有权使用ConfigMap吗?
我认为那是不对的。至少不要在Kafka Connect的操作员框架之外(如果存在)。
连接为configured through a JSON REST API。
因此,在启动时也无法加载配置。需要手动对其进行POST,然后该配置将保留在Kafka的CONNECT_CONFIG_STORAGE_TOPIC
中。
在内部,confluent load
实际上是curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors