使用批处理API推送数据

Question

我有一个工作流程，需要将数据写入我的目标系统，该系统提供“批量Web服务”，即我只能发布csv文件附件，不能一次发布一个事务。我现在有两个步骤 - 我的管道首先使用TextIO将转换结果写入云存储，然后另一个程序提取文件并调用批处理API将数据推送到目标系统。

如果我首先需要在调用批处理API之前准备csv数据，我怎么能做到这一步呢？是否可以将TextIO扩展为不仅完成文件，还要在完成之前调用API？

Answer 1

这听起来就像是user-defined sink的工作！特别是对于FileBasedSink。您的Writer会将记录写入文件，而WriteOperation的finalize方法会将最终文件推送到批处理API。