将mysql DB导入Bigquery的最佳方法

Question

目前我们有一个脚本可以创建数据库转储并在Amazon RDS服务器上滚动它。这种情况每小时发生一次，当新的转储到达时，它的先前版本将被删除。

我希望在Bigquery中获得这些数据。最简单的过程是什么？特别：

1. 有没有办法将转储上传到BQ自动删除以前的版本？

2. 有没有什么方法可以自动将数据库从RDS复制到BQ，从而在BQ端删除以前的版本？

对此的任何其他见解将不胜感激。

Answer 1

更改转储过程比尝试以这种方式创建导入脚本要好得多。将新记录流式传输到BigQuery是最简单的方法。如果您坚持描述的转储过程，那么Mikhail建议使用Apache Airflow。