Question

我想知道有没有支持Secure Kafka Brokers的Kafka Spout。来自apache storm的KafkaSpout对SSL Kafka没有任何支持。

public KafkaSpout(SpoutConfig spoutConf) {
    _spoutConfig = spoutConf;
}

下面提到的Kafka没有接受SSL Kafka生产者/消费者支持的任何参数。

public KafkaConfig(BrokerHosts hosts, String topic) {
        this(hosts, topic, kafka.api.OffsetRequest.DefaultClientId());
    }

    public KafkaConfig(BrokerHosts hosts, String topic, String clientId) {
        this.hosts = hosts;
        this.topic = topic;
        this.clientId = clientId;
    }

请告诉我有什么方法可以通过风暴拓扑实现安全的Kafka消息流处理。

Answer 1

Storm的旧kafka-spout使用不支持安全性的简单消费者API。如果您希望使用SSL与kafka消费者，您应该使用 https://github.com/apache/storm/tree/master/external/storm-kafka-client 这是详细信息 https://github.com/apache/storm/blob/master/docs/storm-kafka-client.md

要启用SSL，与您常规的kafka-consumer类似，您可以按照此处的详细信息进行操作 http://kafka.apache.org/documentation.html#security_ssl

SSL启用Storm Kafka Spout

1 个答案: