Question

在我的管道中，我想根据之前转换的结果将消息输出到其中一个PubSub主题。目前我将输出发送到同一主题：

 SearchItemGeneratorOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().as(SearchItemGeneratorOptions.class);
 Pipeline p = Pipeline.create(options);
 p.apply(...)
 //other transformations 
 .apply("ParseFile", new ParseFile()) // outputs PCollection<Message>, where each Message has a MessageType property with the name of the topic.
 .apply("WriteItemsToTopic", PubsubIO.writeStrings().to(options.getOutputTopic()));

这是我的Message对象：

class Message {
    private MessageType messageType;
    private String payload;
   //constructor, getters
}

我的ParseFile转换器输出PCollection，每个Message对象都有一个属性messageType。基于messageType属性，我想输出到Message的不同PubSub主题有效内容属性。我在this文章段落多个转换处理相同的PCollection 中读到了，但我仍然没有得到如何在我的案例中应用它或其他解决方案。

更新感谢@Andrew提供的解决方案。我通过使用TupleTag解决了我的问题，但方法类似。我在主管道中创建了两个不同的TupleTag对象：

public static final TupleTag<String> full = new TupleTag<>("full");
public static final TupleTag<String> delta = new TupleTag<>("delta");

然后根据我的情况，我在DoFn中输出正确的TupleTag消息：

TupleTag tupleTag = //assign full or delta TupleTag
processContext.output(tupleTag, jsonObject.toString());

并在主要管道中从每个TupleTag的PCollectionTuple中选择发送到Pub / Sub主题。

messages.get(full)
            .apply("SendToIndexTopic", PubsubIO.writeStrings().to(options.getOutputIndexTopic()));

messages.get(delta)
            .apply("SendToDeltaTopic", PubsubIO.writeStrings().to(options.getOutputDeltaTopic()));

唯一需要提及的是我的TupleTag对象是静态对象。

Answer 1

您可以对管道进行分区，以将消息发布到多个Pub / Sub主题。分区将允许您分隔消息，而不是将它们复制到不同的Pub / Sub主题。您需要提前了解所有发布/订阅主题。参考：Partition。

示例：

// partition pipeline

PCollectionList<Message> msgs = p.apply(Partition.of(2, new PartitionFn<Message>() {
    public int partitionFor(Message msg, int numPartitions) {
        // TODO: determine how to partition messages
        if (msg.messageType == "x") {
            return 0;
        } else {
            return 1;
        }
    }
}));

// access partitions

PCollection<Message> partition1 = msgs.get(0);
partition1.apply("WriteItemsToTopic1", PubsubIO.writeStrings().to(options.getOutputTopic1()));

PCollection<Message> partition2 = msgs.get(1);
partition2.apply("WriteItemsToTopic2", PubsubIO.writeStrings().to(options.getOutputTopic2()));

Google Dataflow：根据条件仅向其中一个PubSub主题输出消息

1 个答案: