flink：丢失记录了吗？

Question

我的拓扑结构如下：kafka(p:6)->reduce(p:6)->db writer(p:12)（其中p：是并行性）。

• 我在taskmanager.numberOfTaskSlots: 30
的单个节点“群集”上运行它
• 我知道我的kafka来源正在产生约6.5M记录/分钟
• kafka'读者'具有与kafka分区相同的并行度

当我观察这项工作（通过flink UI）约1分钟时，这些是我看到的值：

• kafka - ＆gt;减少：发送约1.5M记录（关闭> 4x）
• 减少（窗口聚合5秒） - ＆gt; db write~114K记录发送（关闭> 2x） ¹
• db write - ＆gt;收到的记录：~23K（关闭> 5x） ²

（其他部分的发送/接收值之间存在较小的差异，但我可以将这些差异归因于测量误差）

问题（S）：
1.其余记录在哪里？
2.运行时，此机器上的负载永远不会超过1.5。还有其他限制因素吗？
3.我是否误读了UI中的值？

Java 8
Flink 1.0（最新github）
机器：32核/ 96 Gb RAM

¹ 这个可以通过汇总过程来解释 ² 这个值与写入db的内容对齐。

Answer 1

Flink不会丢失记录，它们只是在飞行中缓冲，或者在Kafka停留更长时间。从数字来看，您似乎遇到了背压。

你可以看到＆＃34;减速机＆＃34;已经发出了很多记录，这些记录还没有被＆＃34; db writer＆＃34;收到。在这种情况下，这些记录仍然在运营商之间的通信信道的缓冲区中。这些通道具有有限的缓冲量（取决于配置的缓冲区的数量，通常为几MB）。对于小记录，它们可能会保存多个10k记录。

如果一个运营商中发送的记录数量明显落后于接收运营商收到的记录，则表明接收者（此处为＆＃34; db writer＆＃34;）无法跟上数据速率。也许是因为DB没有足够快地处理插入（太同步，太细粒度的提交？），也许是＆＃34; db writer＆＃34;之间的网络。并且数据库已饱和。

在这种情况下，＆＃34; db writer＆＃34;将对减速器进行背压，这最终也会使卡夫卡源背压。

如果您没有来自数据库的反压力，要试用数据速率，您可以尝试一个实验，其中＆＃34; db writer＆＃34;简单地删除所有记录。