使用针对Google云数据流的自定义无限来源和阅读器进行动态工作重新平衡

Question

我有自定义阅读器和自定义源的以下实现：

public class CustomPubsubReader扩展UnboundedReader {....}

public class CustomPubsubSource扩展UnboundedSource {....}

通过文档，似乎动态工作重新平衡仅适用于有界来源。

就我而言，我看到只创建了一个工作节点来从自定义源读取消息，即使消息队列正在接收1000个元素/ s。

例如，如果我使用PubsubIO.Read（），它将创建＆gt;在这种情况下，1个工作人员用于流模式。

在云数据流中使用自定义源时，有没有办法扩展？

谢谢！

Answer 1

UnboundedSource可以实现generateInitialSplits（数据流1.X）或split（数据流2.0）来为给定来源生成多个读者。

有关详细信息，请参阅Javadoc。