Question

问题陈述：：我正在尝试从本地到AWS 数据复制来确定复制器的端到端延迟。我们在用于复制器的消费者组中找到了可以显示“端到端延迟”的选项，但是它没有在控制中心中显示任何数据，如以下屏幕快照所示。我尝试了一些操作，如下所述，但是它不起作用。

我们需要知道的是：

要为此配置哪些指标？
我们如何配置这些指标？
我是否正在按照以下所述探索正确的事情？
任何人都有经验或面临类似问题

我们测试了使用者组，显示了目标群集中落后的总体消息。

在以下屏幕上没有显示任何数据。我试图弄清楚为什么？

在复制器连接器中，我添加了以下属性以启用拦截器：合流说： “要在Control Center中监视生产和使用情况，请将Confluent监视拦截器与ApacheKafka®应用程序一起安装，并配置您的应用程序以对所产生和使用的Kafka消息使用拦截器，然后将其发送到Control Center。”

我们将其安装在Replicator中，如下所述：

{ 
 "name":"replicator",
    "config":{
      ....
     "src.consumer.interceptor.classes": "io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor",
      ....
    }
  }
}

然后，我在代理中检查了已配置的Confluent Metrics Reporter。

谢谢:)

Answer 1

以下是对我有用的配置。

FYI .....控制中心/复制器（连接工作程序）正在我的源群集上运行。

consumer.properties

zookeeper.connect=src-node1:2181,src-node2:2181,src-node3:2181
bootstrap.servers=src-node1:9092,src-node2,src-node3:9092
interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor

producer.properties

zookeeper.connect=dst-node1:2181,dst-node2:2181,dst-node3:2181
bootstrap.servers=dst-node1:9092,dst-node2:9092,dst-node3:9092
interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor

replicator.properties

#Replication configuration
name=replicator-onprem-to-aws
topic.rename.format=${topic}.replica
replication.factor=1
config.storage.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1
confluent.topic.replication.factor=1

如果查看上述配置，则它是运行复制器的基本配置。我在这里没有花哨的东西。

然后您可以运行以下命令：

[root@src-node1 ~]$ /app/confluent-5.3.1/bin/replicator  --cluster.id 1 --consumer.config config/consumer.properties --producer.config config/producer.properties --replication.config config/replicator.properties --whitelist 'test-topic' > replicator.log 2>&1 &

所需的融合复制器端到端延迟度量

1 个答案: