数据流 - 如何创建与DoFnTester一起使用的PCollectionView?

时间:2017-07-24 15:34:53

标签: unit-testing google-cloud-dataflow

此问题与Google数据流有关。我想用侧输入测试do函数。您需要以下代码的Google手册列表:

  static class MyDoFn extends DoFn<String, Integer> { ... }
  MyDoFn myDoFn = ...;
  DoFnTester<String, Integer> fnTester = DoFnTester.of(myDoFn);

  PCollectionView<List<Integer>> sideInput = ...;
  Iterable<Integer> value = ...;
  fnTester.setSideInputInGlobalWindow(sideInput, value);

我想知道创建PCollectionView实例的代码是怎样的。使用DoFnTester时,您没有管道,我没有看到如何在没有管道的情况下创建PCollectionView实例。你能告诉我如何创建一个用于DoFnTester的PCollectionView实例吗?

感谢您的时间。

亲切的问候,

Martijn Dirkse

2 个答案:

答案 0 :(得分:0)

我自己找到了答案。您可以创建一个TestPipeline实例并使用它来构建您需要的PCollectionView。 TestPipeline在您的代码中没有任何其他用途是没有问题的。

答案 1 :(得分:0)

Dataflow 2.1 sdk示例here。 2.X中没有setSideInputInGlobalWindow而是使用setSideInput