JdbcIO或自定义接收器以使用特定的数据库批量实用程序

Question

我想知道为PostgreSQL数据库实现自定义接收器会多么复杂。从这个意义上讲，我想使用Java的复制管理器，而不是默认的1000个INSERT批。我相信这将导致更快的写入速度，因为我将使用Postgresql自己的数据加载实用程序。

Answer 1

就像编写自己的ParDo一样简单，它使用您喜欢的任何实用工具来实现功能：

• 创作IO：https://beam.apache.org/documentation/io/authoring-overview/
• 有关ParDos：https://beam.apache.org/documentation/programming-guide/#pardo
的详细信息

在JdbcIO的情况下，Write PTransform是implemented in under 200 lines，并且允许您configure the batch size，您可以使用它作为示例。

如果Beam用户可以从中受益，那么也请考虑contributing it into Beam。