Question

我正在Apache-Beam管道中设置一个变化缓慢的查找映射。它不断更新查找图。对于查找映射中的每个键，我使用累积模式在全局窗口中检索最新值。但是它总是遇到Exception：

org.apache.beam.sdk.Pipeline$PipelineExecutionException: java.lang.IllegalArgumentException: Duplicate values for mykey

此代码段代码有什么问题吗？

如果我改用.discardingFiredPanes()，我将在最后一次发射中丢失信息。

pipeline
  .apply(GenerateSequence.from(0).withRate(1, Duration.standardMinutes(1L)))
  .apply(
      Window.<Long>into(new GlobalWindows())
         .triggering(Repeatedly.forever(
             AfterProcessingTime.pastFirstElementInPane()))
         .accumulatingFiredPanes())
  .apply(new ReadSlowChangingTable())
  .apply(Latest.perKey())
  .apply(View.asMap());

输入触发器示例：

t1 : KV<k1,v1> KV< k2,v2>
t2 : KV<k1,v1>

accumulatingFiredPanes =>在t2的预期结果=> KV（k1，v1），KV（k2，v2），但是由于重复的异常而失败

discardingFiredPanes =>在t2时的预期结果=> KV（k1，v1）成功

Answer 1

特别是关于view.asMap和评论中有关累积窗格的讨论：

如果您想使用View.asMap侧面输入（例如，当地图元素的源本身是分布式的时–通常是因为您是从上一个转换的输出中创建侧面输入），还需要考虑其他一些因素：View.asMap本身是一个聚合，它将继承触发并累积其输入。在此特定模式下，即使在Latest.perKey转换之前使用了View.asMap之类的转换，在此转换之前将管道设置为accumulationPanes模式也会导致重复的键错误。

鉴于读取操作会更新整个地图，因此我认为使用View.asSingleton会是此用例的更好方法。

有关此模式的一些一般说明，希望对其他人也有用：

对于这种模式，我们可以使用GenerateSequence源变换定期（例如每天一次）发出值。通过在每个元素上激活的数据驱动触发器将该值传递到全局窗口中。在DoFn中，使用此过程作为触发来从您的SideInput的有界源Create中提取数据，以用于下游转换。

值得注意的是，由于此模式使用了在处理时间上触发的全局窗口侧输入，因此与在事件时间内处理的元素的匹配将是不确定的。例如，如果我们有一个在事件时间上开窗的主管道，则这些窗口将看到的SideInput视图的版本将取决于在处理时间而不是事件时间上触发的最新触发器。

还要注意，一般来说，侧面输入应该适合内存。

Java（SDK 2.9.0）：

在侧面输入下方的样本中，输入间隔非常短，因此可以轻松看到效果。期望侧面输入正在缓慢更新，例如每隔几个小时或每天一次。

在下面的示例代码中，我们使用了在Map中创建的DoFn（即View.asSingleton），这是此模式的推荐方法。

下面的示例说明了这种模式，请注意，View.asSingleton在每次计数器更新时都会重建。

public static void main(String[] args) {

 // Create pipeline
 PipelineOptions options = PipelineOptionsFactory.fromArgs(args).withValidation()
     .as(PipelineOptions.class);

 // Using View.asSingleton, this pipeline uses a dummy external service as illustration.
 // Run in debug mode to see the output
 Pipeline p = Pipeline.create(options);

 // Create slowly updating sideinput

 PCollectionView<Map<String, String>> map = p
     .apply(GenerateSequence.from(0).withRate(1, Duration.standardSeconds(5L)))

     .apply(Window.<Long>into(new GlobalWindows())
         .triggering(Repeatedly.forever(AfterProcessingTime.pastFirstElementInPane()))
         .discardingFiredPanes())

     .apply(ParDo.of(new DoFn<Long, Map<String, String>>() {
       @ProcessElement public void process(@Element Long input,
           OutputReceiver<Map<String, String>> o) {
         // Do any external reads needed here...
         // We will make use of our dummy external service.
         // Every time this triggers, the complete map will be replaced with that read from 
         // the service.
         o.output(DummyExternalService.readDummyData());
       }

     })).apply(View.asSingleton());

 // ---- Consume slowly updating sideinput

 // GenerateSequence is only used here to generate dummy data for this illustration.
 // You would use your real source for example PubSubIO, KafkaIO etc...
 p.apply(GenerateSequence.from(0).withRate(1, Duration.standardSeconds(1L)))
     .apply(Window.into(FixedWindows.of(Duration.standardSeconds(1))))
     .apply(Sum.longsGlobally().withoutDefaults())
     .apply(ParDo.of(new DoFn<Long, KV<Long, Long>>() {

       @ProcessElement public void process(ProcessContext c) {
         Map<String, String> keyMap = c.sideInput(map);
         c.outputWithTimestamp(KV.of(1L, c.element()), Instant.now());

  LOG.debug("Value is {} key A is {} and key B is {}"
, c.element(), keyMap.get("Key_A"),keyMap.get("Key_B"));

       }
     }).withSideInputs(map));

 p.run();
}

public static class DummyExternalService {

 public static Map<String, String> readDummyData() {

   Map<String, String> map = new HashMap<>();
   Instant now = Instant.now();

   DateTimeFormatter dtf = DateTimeFormat.forPattern("HH:MM:SS");

   map.put("Key_A", now.minus(Duration.standardSeconds(30)).toString(dtf));
   map.put("Key_B", now.minus(Duration.standardSeconds(30)).toString());

   return map;

 }
}

创建PCollectionView <map <string，string >>时如何解决重复值异常

1 个答案: