我尝试使用以下代码从pub / sub中读取
Read<String> pubsub = PubsubIO.<String>read().topic("projects/<projectId>/topics/<topic>").subscription("projects/<projectId>/subscriptions/<subscription>").withCoder(StringUtf8Coder.of()).withAttributes(new SimpleFunction<PubsubMessage,String>() {
@Override
public String apply(PubsubMessage input) {
LOG.info("hola " + input.getAttributeMap());
return new String(input.getMessage());
}
});
PCollection<String> pps = p.apply(pubsub)
.apply(
Window.<String>into(
FixedWindows.of(Duration.standardSeconds(15))));
pps.apply("printdata",ParDo.of(new DoFn<String, String>() {
@ProcessElement
public void processElement(ProcessContext c) {
LOG.info("hola amigo "+c.element());
c.output(c.element());
}
}));
与我在NodeJS上收到的内容相比,我收到了data
字段中包含的消息。如何获取ackId
字段(我稍后可以用它来确认消息)?我打印的属性地图为null
。
有没有其他方法来确认所有消息而不必弄清楚ackId?
答案 0 :(得分:3)
User
读者负责确认消息。它与跑步者的检查点行为有关。具体来说,源只会在检查结果元素时确认消息。
在这种情况下,您应该查看Flink runner检查点何时获取该源的状态信息。我相信这与检查点频率的Flink配置有关。