Apache Spark Streaming：为什么每秒事件数量会增加？

Question

我发现流媒体应用程序中的事件/秒数突然增加（见截图）。我确保发送方在这些时刻不会发送更多数据（它总是每TCP发送800 - 900条消息）。我想它与下面的其他时间（处理/延迟）有关，但为什么会在事件计数图中显示？有人可以更准确地解释那里发生的事情吗？谢谢！

Answer 1

事件数量与生产者直接相关。这意味着您的制作人正在逐步提高发送率。在截图时，您的平均接收消息吞吐量为953 msgs / s，高于预期的850，将问题中提到的800-900范围作为正态分布。

检查生产者是否有这种增加的特殊原因。