将Kafka用作Flink的输入源是否会成为性能瓶颈？

Question

Flink允许阅读Kafka主题，这是性能瓶颈使Flink整体变慢吗？

Answer 1

Kafka分区可以水平缩放以适应更高的吞吐量。

一个Flink使用者线程只能分配给一个Kafka分区。

因此，如果您只有1个Kafka分区，并且有N+1个Flink执行程序，那么您将有N个空闲任务，这肯定是一个瓶颈，但这是权衡总和的代价。 -在Kafka主题内排序，不一定是Flink问题。

否则，您将创建带有十到数百个分区的Kafka主题，而Flink可以使用它。

Answer 2

这取决于。例如，如果您的Kafka群集和Flink群集之间的网络连接较慢，则这将成为性能瓶颈。