Question

我已经公开了一个Kafka节点和一个主题名称。我的Web服务器收到很多http请求数据，我需要处理它们然后将它们推送到kafka。有时候，如果kafka节点出现故障，那么我的服务器仍会继续抽取数据，这会导致内存耗尽，服务器也会停机。

我希望在Kafka停机时停止发布数据。我的Java示例代码如下：

  static Producer producer;

  Produce() {
    Properties properties = new Properties();
    properties.put("request.required.acks","1");
    properties.put("bootstrap.servers","localhost:9092,localhost:9093,localhost:9094");
    properties.put("enabled","true");
    properties.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");
    properties.put("kafka-topic","pixel-server");
    properties.put("batch.size","1000");
    properties.put("producer.type","async");
    properties.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
    producer = new KafkaProducer<String, String>(properties);
  }


  public static void main(String[] args) {
    Produce produce = new Produce();

    produce.send(producer, "pixel-server", "Some time");

  }

  //This method is called lot of times
  public void send(Producer<String, String> producer, String topic, String data) {
    ProducerRecord<String, String> producerRecord = new ProducerRecord<>(topic, data);
    Future<RecordMetadata> response = producer.send(producerRecord, (metadata, exception) -> {
      if (null != exception) {
        exception.printStackTrace();
      } else {
        System.out.println("Done");
      }
    });

我刚刚抽取了一些示例代码。发送方法被多次调用。我只是想阻止发送任何消息，如果卡夫卡失败。解决这种情况的有效方法是什么。

Answer 1

如果我是你，我会尝试实施circuit breaker。当您在发送记录时遇到合理数量的故障，电路中断并提供一些后备行为。一旦满足某些条件（例如：一段时间过去），电路关闭，您将再次发送记录。另外vertx.io附带own solution。

如果Kafka节点关闭，则发出警报

1 个答案: