将protobuf对象写入GCS

Question

我正在创建一个将protobuf对象写入gcs的数据流（java api）。谁能帮助我如何做到这一点。代码示例或其他内容会有所帮助。

Answer 1

https://issues.apache.org/jira/browse/BEAM-221对此有一些想法。

在复合PTransform中包装AvroIO：

• Avro架构只是一个字节[]。
• 读取时，从byte []转换为 用户的原型。
• 写入时，从proto转换为byte []。

通过这种方式，ProtoIO只是AvroIO.Read + ParDo（读取）或ParDo + AvroIO.Write的简单包装。