有什么方法可以将TSV文件从存储桶转储到GCP中的Cloud MySql?

时间:2019-11-25 11:58:35

标签: google-cloud-storage google-cloud-sql

是否有一种方法可以将TSV文件从存储桶中转储到GCP中的Cloud MySql中?我的TSV文件很大,有4M行。

我无法将其转换为CSV。

1 个答案:

答案 0 :(得分:0)

截至目前,Cloud SQL only supports CSV and SQL.仍建议您看一下此解决方案。我使用Python能够使这一过程自动化,以防万一您真的需要它来多次。在这种情况下,我尝试重现您的问题,并编写了一个基本上如下的脚本:

  1. 从指定的Cloud Storage Bucket下载TSV文件。
  2. 将TSV文件转换为CSV文件。将CSV文件上传到
  3. 指定了云存储桶。
  4. 将新添加的CSV文件导入到 云SQL。

您可以找到代码以及运行this script here的要求。此外,请注意,在运行之前,您需要替换由[BUCKET_NAME]之类的笼罩符关闭的值。另外请记住,此脚本不会删除TSV下载的文件以及CSV文件,因此您需要手动删除它,也可以修改代码以自动删除文件。

最后,如果您想进一步研究脚本部分中使用的API,我将附上herehere所需的文档。