是否有任何形式可以减少PubSubIO每秒读取的消息数量?

时间:2015-06-17 14:42:26

标签: google-cloud-dataflow google-cloud-pubsub

我有一个从PubSubIO读取的云流式传输管道,以及" PipelineOptions"设置为" WorkerMachineType = n1-standard-1"。这台机器有3.75GB的内存。

我的问题是,如果订阅包含大量消息,那么管道读取速度非常快,当开始处理许多元素时,它没有足够的内存。

是否有任何形式可以减少每秒读取的邮件数量?或者是与分配给窗口的持续时间相关的内存消耗,我会减少这个持续时间吗?

谢谢你的到来。

1 个答案:

答案 0 :(得分:1)

听起来你可能试图用太少的工人来处理过多的数据。我们正在考虑解决此问题和相关方案,但与此同时,您可能希望尝试拨打您正在摄取的数据量,或者增加可用于工作的工作人员数量。

使用n1-standard-4计算机也可以获得更好的性能,这就是为什么我们为流媒体选手提供default的原因。