如何实时将Mysql同步到Bigquery？

Question

目前我有一些脚本首先删除表并将表从MySQL上传到Bigquery。很多时候它失败了。而且它每天只运行一次。我正在寻找一些可扩展的实时解决方案。非常感谢您的帮助：）

Answer 1

阅读Wepay上的这些系列文章，他们详细介绍了如何使用Airflow将他们的MySQL数据库同步到BigQuery：

• https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow
• https://wecode.wepay.com/posts/airflow-wepay
• （第三个是关于BigQuery）

作为摘要（引用）：

• 设置身份验证，连接，DAG。
• 定义从MySQL中提取哪些列并加载到BigQuery中。
• 选择如何加载数据：递增或完全加载。
• 去重。