有没有一种方法可以在从pubsub主题读取的数据流中创建批处理作业？

Question

当我从pubsub主题中读取数据时，我有一个处于流模式的数据流管道。我希望将其修改为批处理模式。我需要这样才能使用FlexRS，因为仅批处理模式支持它。 梁版本：2.13.0

Answer 1

您可以研究使用BoundedReadFromUnbounded源，该源允许将无界集合转换为有界。

UnboundedSource<String> unboundedSource  = ...;
PCollection<String> boundedCollection=
     p.apply(Read.from(unboundedSource).withMaxNumRecords(10));

您还可以使用withMaxReadTime