Google Cloud SQL:LOAD DATA INFILE的替代方案

时间:2012-12-11 06:23:43

标签: load-data-infile google-cloud-sql

我在Google App Engine中工作,我们有一个Python脚本,可以在Google Cloud SQL中转储数据。我们必须转储的数据集之一是巨大的。我们每天每天丢弃大约150K行数据。

我知道Google Cloud SQL不支持LOAD DATA INFILE,我通常会使用它。我的问题是,是否有LOAD DATA INFILE的替代方案可用于加速数据转储过程。

在没有LOAD DATA INFILE的情况下正常插入数据大约需要5分钟。

2 个答案:

答案 0 :(得分:3)

如此comment of another question中所述,App Engine支持LOAD DATA LOCAL INFILE

MySQL Manual解释了如何使用此声明。

答案 1 :(得分:1)

您可以采取哪些措施来获得更好的批量导入性能:

  • 创建.sql文件和do an import
  • 确保insert语句一次执行多行。一个好的经验法则是每个INSERT一兆字节。
  • 切换到async replication
  • 从App Engine应用程序导入。该应用程序将与您的Cloud SQL实例共存,从而大大减少网络延迟。