使用Apache Beam将流写入GCS

时间:2018-01-30 23:39:16

标签: google-cloud-storage google-cloud-dataflow apache-beam

我正在使用apache beam 2.2.0并尝试使用以下代码每隔10分钟从我的流媒体管道写入GCS:

input.apply(Window.<String>into(new GlobalWindows())
    .triggering(
            Repeatedly.forever(
                    AfterProcessingTime.pastFirstElementInPane()
                            .plusDelayOf(Duration.standardMinutes(10))
            ))
    .discardingFiredPanes())
    .apply("Write output files", TextIO.write()
            .to(baseuri + "/" + randomUUIDString())
            .withNumShards(1)
            .withSuffix(".csv")
            .withWindowedWrites());

我看到文件每10分钟写入临时目录(baseuri / UUIDString / .temp-beam-xxxxx),但写入永远不会完成并写入baseuri +“/”+ randomUUIDString()。我在这里错过了什么吗?

我还附上了显示“写入输出文件”步骤的数据流UI屏幕截图。enter image description here

0 个答案:

没有答案