如何以流模式将数据从AWS RDS加载到Google BigQuery？

Question

如何以流模式将数据从AWS RDS加载到Google BigQuery？ 说明：我在RDS（SQL Server）中有数据，并且想将该数据实时加载到Google BigQuery中。

Answer 1

没有直接的方法可以将更改从Amazon RDS插入到Google Cloud BigQuery。可以用这样的管道完成

Amazon RDS ---- Lambda / DMS ----> Kinesis数据流----- Lambda ----> BigQuery

1. 使用Lambda或使用Cloud DMS读取从Amazon RDS到Kinesis Data Streams的更改。您也可以将其推送到Kinesis Firehose进行汇总/批处理记录。
2. 使用Lambda从Kinesis流/ Firehose中读取内容，并使用tabledata.insertAll（BQ流API）插入BigQuery中。代码将类似于this。

Answer 2

您可以使用Cloud Storage Transfer Service来管理加载工作并将其安排到BigQuery中。这是此用例的推荐迁移方法。首先，您需要将数据从AWS RDS加载到CSV文件，然后将其移至S3。 Amazon S3 transfers分为两个步骤：

1. 传输服务用于将数据从S3带入GCS。
2. BQ加载作业用于将数据加载到BigQuery中。

我发现的另一个有趣的solution是关于使用AWS Data Pipeline从MySQL导出数据并将其提供给BigQuery。

此外，您可以使用与Amazon RDS和BigQuery集成的一种ETL工具（请参阅here）来执行将数据传输到BigQuery的操作。最好的之一是Fivetran。

希望对您有帮助。