我正在使用apache beam并尝试创建自定义接收器,遗憾的是找不到任何有关如何创建自定义接收器的指南。可以有人指导。
以前在Dataflow中我曾经用来覆盖可用的接收器
com.google.cloud.dataflow.sdk.io.Sink
我似乎无法在Beam中找到类似的调用。它仍然可以在某处使用光束吗?
我正在使用beam 2.3 sdk和Java
答案 0 :(得分:4)
请参阅https://beam.apache.org/documentation/io/authoring-overview/并查看Beam SDK附带的其他write()
转换的实现。
Sink
接口已被删除,因为我们发现没有任何情况下它只提供由ParDo,GBK和其他变换组成的复合变换的任何值。另请参阅this recent talk of mine关于Beam中的IO以及为什么源/接收器不应该是特殊的API,但应该只是复合变换。