Question

使用MySQL（尽管MariaDB是准确的）。我有以下脚本需要每隔一天运行一次来更新我的数据库，但它的速度令人难以忍受。每个要更新的表都需要数小时才能运行。这是一个shell脚本：

CMD_MYSQL="${MYSQL_DIR}mysql  --local-infile=1 --default-character-set=utf8 --protocol=${MYSQL_PROTOCOL} --port=${MYSQL_PORT} --user=${MYSQL_USER} --pass=${MYSQL_PASS} --host=${MYSQL_HOST} --database=${MYSQL_DB}"

### Update MySQL Data ###
## table name are lowercase
tablename=`echo $FILE | tr "[[:upper:]]" "[[:lower:]]"`
echo "Uploading ($FILE) to ($MYSQL_DB.$tablename) with REPLACE option..."
## let's try with the REPLACE OPTION
$CMD_MYSQL --execute="LOAD DATA LOCAL INFILE '$FILE.txt' REPLACE INTO TABLE $tablename CHARACTER SET utf8 FIELDS TERMINATED BY '|' IGNORE 1 LINES;"
## we need to erase the records, NOT updated today
echo "erasing old records from ($tablename)..."
$CMD_MYSQL --execute="DELETE FROM $tablename WHERE datediff(TimeStamp, now()) < 0;"

您可以安全地忽略在文件中其他位置设置的某些变量。 $FILE通常由txt分隔|个文件。每行代表一条记录，例如：

AirportID|AirportCode|AirportName|Latitude|Longitude|MainCityID|CountryCode
6024358|DME|Moscow, Russia (DME-Domodedovo Intl.)|55.414495|37.899907|2395|RU
6024360|DMM|Dammam, Saudi Arabia (DMM-King Fahd Intl.)|26.468075|49.796824|180543|SA

该脚本在现有数据库上运行，其中找到旧记录。然后检查它的上次更新日期，并执行REPLACE INTO，但通常需要8小时才能获得100MB txt文件。

如何显着提高速度？

Answer 1

此问题会影响InnoDB的所有版本（4.1+）。替换innodb中的重复项太慢了。这是MyISAM优越的地方。 MyISAM花了0.05秒。

原因是InnoDB中的重复键错误处理依赖于撤消日志和语句回滚： 1.锁定记录。 2.写入update_undo日志以删除标记记录。 3.写入insert_undo日志以插入记录。 4.尝试插入新记录。 5.注意副本。 6.回滚步骤3和2中写入的撤消日志。

这是mysql中的一个问题，已经修复了。在5.7版中验证： https://bugs.mysql.com/bug.php?id=71507

他们计划在步骤2中检测重复。这样可以避免在这种情况下进行任何回滚。

以下是3条建议：

升级至v 5.7
使用MyISAM（如适用）
使用诸如“INSERT INTO ... ON DUPLICATE KEY UPDATE ...”之类的查询

在MySQL InnoDB中替换成表极其缓慢

1 个答案: