动态调节fl fl卡夫卡来源

Question

我们正在使用多个kafka主题，但希望优先考虑其中一些（〜服务质量）。

根据我在网上发现的内容，我们的共识是不会限制运营商，而是来源，更具体地说是解串器[1]。

我们如何在源中访问有关流媒体环境状态的信息（即主题滞后于当前偏移的距离）。

目前，我们计划将整个设置转换为CoFlatMaps [2]，并有一个控制流，为所有主题发出当前的偏移滞后 - 低优先级流运营商然后根据高优先级流的滞后休眠。 / p>

你会如何解决这个问题？ Tl; dr：有没有办法在任务管理器的源/反序列化器之间共享信息？

[1] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Rate-limit-processing-td11174.html

[2] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/newbie-Share-state-between-streams-td7368.html

Answer 1

对于此问题，人们需要答案： 我在flink的反压中遇到了类似的话题。我发现人们在源运算符中进行速率限制并进行序列化。

有一个来自flink github repo的示例：https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/utils/ThrottledIterator.java