在apache beam

时间:2018-03-18 07:58:01

标签: google-cloud-dataflow apache-beam

我正在使用apache beam并尝试创建自定义接收器,遗憾的是找不到任何有关如何创建自定义接收器的指南。可以有人指导。

以前在Dataflow中我曾经用来覆盖可用的接收器 com.google.cloud.dataflow.sdk.io.Sink

我似乎无法在Beam中找到类似的调用。它仍然可以在某处使用光束吗?

我正在使用beam 2.3 sdk和Java

1 个答案:

答案 0 :(得分:4)

请参阅https://beam.apache.org/documentation/io/authoring-overview/并查看Beam SDK附带的其他write()转换的实现。

Sink接口已被删除,因为我们发现没有任何情况下它只提供由ParDo,GBK和其他变换组成的复合变换的任何值。另请参阅this recent talk of mine关于Beam中的IO以及为什么源/接收器不应该是特殊的API,但应该只是复合变换。