Question

例如，我发出了一个ALTER TABLE语句，用于在InnoDB表中的MEDIUMTEXT字段上创建索引，该表具有134k行，其中索引的大小为255字节，字段中数据的平均大小为30k。此命令已运行最后15分钟左右（并且是数据库上唯一运行的命令）。我有什么方法可以确定它是否会在接近5分钟，5小时或5天内完成？

Answer 1

我能够执行这两个查询并确定要移动的行数。

select count(*) from `myoriginalrable`;
select count(*) from `#sql-1e8_11ae5`;

这比比较磁盘上的文件大小更有帮助，因为从myisam更改为innodb等会改变行大小。

Answer 2

对于InnoDB表，可以使用SHOW ENGINE INNODB STATUS查找执行ALTER TABLE的事务，并检查TX保存的行锁数。这是已处理行的数量。这里详细解释：

http://gabrielcain.com/blog/2009/08/05/mysql-alter-table-and-how-to-observe-progress/

MariaDB 5.3及更高版本还具有报告某些操作（包括ALTER TABLE）的进度的功能。参见：

http://kb.askmonty.org/en/progress-reporting/

Answer 3

这显然是一个非常常见的请求 - 早在2005年bugs.mysql.com就要求了。它已存在于Oracle中，并列为有用，但"it is not a simple thing to do, so don't expect it to be implemented soon."。虽然那是2005年：）

那就是说，问过原问题的那个人后来为MySQL 5.0发布了一个patch，向后移植到4.1，这可能会帮助你。

Answer 4

我做了一个查询，估计在innodb表上完成alter命令的时间。您必须在同一会话中至少运行两次，因为它会比较连续运行的统计数据以进行估算。不要忘记将＆lt; tableName＆gt; 更改为第四行的正确表名。它给你两个估计。本地估算仅使用运行之间的数据，而全局估算使用整个交易时间。

select 
beginsd, now(), qRuns, qTime, tName, trxStarted, trxTime, `rows`, modified, locked, hoursLeftL, estimatedEndL, modifiedPerSecL, avgRows, estimatedEndG, modifiedPerSecG, hoursLeftG
from (
select 
    (@tname:='<table>') tName,
    @beginsd:=sysdate() beginsd,
    @trxStarted:=(select trx_started from information_schema.innodb_trx where trx_query like concat('alter table %', @tname, '%')) trxStarted, 
    @trxTime:=timediff(@beginsd, @trxStarted) trxTime,
    @rows:=(select table_rows from information_schema.tables where table_name like @tname) `rows`,
    @runs:=(ifnull(@runs, 0)+1) qRuns,
    @rowsSum:=(ifnull(@rowsSum, 0)+@rows),
    round(@avgRows:=(@rowsSum / @runs)) avgRows,
    @modified:=(select trx_rows_modified from information_schema.innodb_trx where trx_query like concat('alter table %', @tname, '%')) modified, 
    @rowsLeftL:=(cast(@rows as signed) - cast(@modified as signed)) rowsLeftL,
    round(@rowsLeftG:=(cast(@avgRows as signed) - cast(@modified as signed)), 2) rowsLeftG,
    @locked:=(select trx_rows_locked from information_schema.innodb_trx where trx_query like concat('alter table %', @tname, '%')) locked,
    @endsd:=sysdate() endsd,
    --
    time_to_sec(timediff(@endsd, @beginsd)) qTime,
    @modifiedInc:=(cast(@modified as signed) - cast(@p_modified as signed)) modifiedInc,
    @timeInc:=time_to_sec(timediff(@beginsd, @p_beginsd)) timeInc,
    round(@modifiedPerSecL:=(@modifiedInc/@timeInc)) modifiedPerSecL,
    round(@modifiedPerSecG:=(@modified/time_to_sec(@trxTime))) modifiedPerSecG,
    round(@minutesLeftL := (@rowsLeftL / @modifiedPerSecL / 60)) minutesLeftL,
    round(@minutesLeftG := (@rowsLeftG / @modifiedPerSecG / 60)) minutesLeftG,
    round(@hoursLeftL := (@minutesLeftL / 60), 2) hoursLeftL,
    round(@hoursLeftG := (@minutesLeftG / 60), 2) hoursLeftG,
    (@beginsd + INTERVAL @minutesLeftL MINUTE) estimatedEndL,
    (@beginsd + INTERVAL @minutesLeftG MINUTE) estimatedEndG,
    --
    @p_rows:=@rows,
    @p_modified:=@modified,
    @p_beginsd:=@beginsd
) sq;

Answer 5

Percona的pt-online-schema-change显示剩余时间估计。默认情况下，它每30秒打印一次剩余时间估计和进度百分比。

与仅运行ALTER命令相比，它还具有其他功能。

http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-change.html

Answer 6

一个很老的问题，但在MySQL 5.7上对此有一个正确的答案

https://dev.mysql.com/doc/refman/5.7/en/monitor-alter-table-performance-schema.html

本质上...

UPDATE performance_schema.setup_instruments
       SET ENABLED = 'YES'
       WHERE NAME LIKE 'stage/innodb/alter%';
UPDATE performance_schema.setup_consumers
       SET ENABLED = 'YES'
       WHERE NAME LIKE '%stages%';

...运行alter table ...

SELECT EVENT_NAME, WORK_COMPLETED, WORK_ESTIMATED
       FROM performance_schema.events_stages_current;
+------------------------------------------------------+----------------+----------------+
| EVENT_NAME                                           | WORK_COMPLETED | WORK_ESTIMATED |
+------------------------------------------------------+----------------+----------------+
| stage/innodb/alter table (read PK and internal sort) |            280 |           1245 |
+------------------------------------------------------+----------------+----------------+
1 row in set (0.01 sec)

Answer 7

Percona Server是具有一些增强功能的MySQL的分支版本，具有此功能。

您可以在SHOW PROCESSLIST中观察ROWS_SENT和ROWS_EXAMINED的额外列。例如，如果您的表有1000000行，并且您看到ROWS_EXAMINED为650000，则它已完成65％。

请参阅http://www.percona.com/doc/percona-server/5.6/diagnostics/process_list.html

Answer 8

运行node_modules headache.lock tmp dist，您将在mysql文件夹中看到如下文件：“

*
!src 
!assets 
!go 
!justforfun 
!scripts 
!package.json

您可以看到正在构造的原始表文件和临时目标表文件，并且具有易于理解的大小。通常，它会随着时间线性增长，因此，如果它是原始表的大小的一半，则它是一半。 ls -laShr /var/lib/mysql | sort -h命令将按大小对文件进行排序，因此如果这是一个很大的表并且您已经等待了一段时间，则这两个文件都将位于文件列表的底部附近。

Answer 9

如果有人想要一个bash解决方案：（SQL对我不起作用）

cd /var/lib/mysql/mydb
TABLEFILE="MYTABLE.ibd"
TEMPFILE="\#*ibd"

ls -lah $TABLEFILE;
ls -lah $TEMPFILE; # make sure you have only one temp file or modify the above TEMPFILE

SIZE_TOTAL=$(stat -c %s $TABLEFILE);

# other ways to get 1st size and time
#SIZE1=1550781106; TIME1=1550781106;
#SIZE1=$(stat -c %s $TEMPFILE); TIME1=$(stat -c %Z $TEMPFILE);  sleep 10;
SIZE1=0; TIME1=$(stat -c %X $TEMPFILE); # use file create time

echo "SIZE1=$TIME1; TIME1=$TIME1";

SIZE2=$(stat -c %s $TEMPFILE); TIME2=$(stat -c %Z $TEMPFILE);

DELTA_SIZE=$(( $SIZE2 - $SIZE1 ))
DELTA_TIME=$(( $TIME2 - $TIME1 ))

# debug last numbers should not be zero:

echo $SIZE1  $SIZE2  $SIZE_TOTAL  $DELTA_SIZE;
echo $TIME1  $TIME2  $DELTA_TIME;

SIZE_PER_SECOND=$( awk "BEGIN {print $DELTA_SIZE  / $DELTA_TIME }" );
SIZE_LEFT=$(($SIZE_TOTAL - $SIZE2));
TIME_LEFT_SECONDS=$( awk "BEGIN { print  ( $SIZE_LEFT  / $SIZE_PER_SECOND) }" );
TIME_LEFT_MINUTES=$( awk "BEGIN { print  $TIME_LEFT_SECONDS /60 }" );
TIME_LEFT=$( awk "BEGIN { printf \"%d:%02d:%2d\", int($TIME_LEFT_MINUTES /60), int($TIME_LEFT_MINUTES % 60), int($TIME_LEFT_SECONDS % 60 )  }" );

echo "TIME_LEFT = $TIME_LEFT";
echo "SIZE_LEFT = $SIZE_LEFT" "MB=" $(( $SIZE_LEFT/1024/1024 )) ;
awk "BEGIN { if( $SIZE_TOTAL == $SIZE2 ) print \"mysql finished\" }" ;

free -h # check free memory, sometimes it is full and it makes it slow

结论：需要时间，很多时间。

只要确保没有ram即可。和自由空间。像50％的内存没有被mysql使用。

低内存使整个系统工作非常低

有没有办法在MySQL中看到ALTER TABLE语句的进度？

9 个答案: