通过Dataflow管道写入Cloud SQL的速度非常慢

Question

我设法通过JDBCIO连接到云sql

DataSourceConfiguration.create（“ com.mysql.jdbc.Driver”，“ jdbc：mysql：// google /？cloudSqlInstance = ::＆socketFactory = com.google.cloud.sql.mysql.SocketFactory＆user =＆password =”）< / p>

这有效，但是，批量写入需要2-5分钟才能完成1000条记录，这很糟糕。我尝试了不同的网络来查看是否相关，并且结果是一致的。

有人有什么想法吗？

Answer 1

您在哪里初始化此连接？如果您在DoFn中执行此操作，则会在每个捆绑包上建立和拆除套接字时产生延迟。

看看DoFn.Setup，这提供了一种初始化资源的干净方法，该资源将在捆绑包调用中持久保存。