情况如下。
我的一些水槽连接到Kafka,对负载非常敏感。 他们是数据库,确实喜欢重载。
我想根据这些接收器的总体负载为某些主题动态设置配额值。我正在使用Kafka Connect和基于KStreams的自制流应用将数据馈入数据库。
我知道我不能在该主题上设置配额,但可以在client.id上设置配额。 无论如何,最后我还是希望控制具体主题。
特别是稍后,我更喜欢使用一个工具(也许是自编程的)来关闭从接收器负载到kafka配额的费用返还循环。
更复杂的问题是,在使用流时,由于client.id用后缀扩展,例如
StreamThread-1-consumer-f1835e80-e8ae-428a-a40e-2a44aab0e9ae
我具有主题的管理员访问权限,因此可以“嗅探”所有消息。 问题是:
如何在不询问开发人员,他们实现了什么或是否更改了与client.id相关的某些内容的情况下获取特定主题消息的client.id?
谢谢!