单元测试采用侧输入的数据流/ apache波束管道

时间:2017-12-17 06:53:40

标签: apache-beam dataflow

使用Dataflow 2.1 sdk

        <dependency>
            <groupId>com.google.cloud.dataflow</groupId>
            <artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
            <version>[2.1.0, 2.99)</version>
        </dependency>

根据this文档setSideInputInGlobalWindow应该可用。但我只看到以下两个相关功能: enter image description here

以下是我的完整代码:

DoFnTester<EventItem,EventItem> fnTester = DoFnTester.of(myDoFn);
    TestPipeline pipeline = TestPipeline.create();

TableRow row= new TableRow();
        atr.set("a", 7);
        atr.set("q", new ArrayList<String>() {{ add("video_referrer"); add("from_homepage");}});

PCollectionView<TableRow> sideInput =  (PCollectionView<TableRow>) pipeline.apply(Create.of(Arrays.asList(atr)));
        Iterable<TableRow> sidVal = Arrays.asList(atr);
        fnTester.setSideInput(sideInput, sidVal); //error on this line

        List<Foo> testOutputs = fnTester.processBundle(Arrays.asList(testInput));

我看到setSideInput(PCollectionView<T> sideInput, BoundedWindow window, T value)函数here。但在这种情况下我如何获得BoundedWindow 我想念的是什么,谢谢。

1 个答案:

答案 0 :(得分:0)

您可以尝试使用GlobalWindow.INSTANCE,但通常不推荐使用DoFnTester,建议的方法是始终使用TestPipeline和PAssert。