Flink工艺功能背压问题

Question

我在Flink作业中实现了一个过程功能，当注入大量（10mil记录）时，过程功能似乎已经锁定并导致操作员暂停前后等待刷新，交换间隔。

process function performance

这似乎是Flink的来源等待，直到后来的运营商从忙碌中解脱出来。这是Flink中的背压处理，无论如何我们可以配置让流在没有这种间隔的情况下流动吗？

Answer 1

如果process被阻止，数据将流向哪里？背压不是Flink所做的事情（据我所知）。相反，它是下游运营商无法接受任何更多数据的自然结果。

您需要做的事情就是看看如何让您的工作更加平行。这可能就像简单地增加并行性一样简单，但如果您的数据是键控的并且问题实际上是一个键在一个单位时间内接收的数据多于可以有效处理的数据，则可能会更复杂。在这种情况下，您可能需要让密钥实际上是这样的，即您的数据分散在多个分区中。

但是，如果不知道您的应用程序的具体细节，这只是猜测。