Question

我有一个简单的表格，它是一个电子邮件队列。

CREATE TABLE `emails_queue_batch` (
  `eq_log_id` int(11) NOT NULL DEFAULT '0',
  `eq_to` varchar(120) CHARACTER SET utf8 DEFAULT NULL,
  `eq_bcc` varchar(80) CHARACTER SET utf8 DEFAULT '',
  `eq_from` varchar(80) CHARACTER SET utf8 DEFAULT NULL,
  `eq_title` varchar(100) COLLATE utf8_unicode_ci DEFAULT NULL,
  `eq_headers` varchar(80) CHARACTER SET utf8 DEFAULT NULL,
  `eq_content` longtext CHARACTER SET utf8,
  `eq_sid` int(11) DEFAULT '0',
  `eq_type` int(11) DEFAULT '0' COMMENT 'email type',
  `eq_esp` int(11) DEFAULT '0',
  PRIMARY KEY (`eq_log_id`),
  KEY `email` (`eq_to`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci

多个线程一次重复读取50行并删除行。

为避免双重读取我使用的同一行：

    $db->query(" LOCK TABLE $table WRITE ");

    $query= "SELECT * FROM $table LIMIT  ".CHUNK_SIZE. " " ; 

    $emails2send=$db->get_results ($query);

    if (!empty ($emails2send)){

        // DELETE EMAIL 
        $eq_log_ids = array();
        foreach ($emails2send as $email) $eq_log_ids[]= $email->eq_log_id ;

        $query= "DELETE FROM $table WHERE eq_log_id IN ( ".implode(',', $eq_log_ids)." ) ";
        $db->query ($query);

        $db->query (" UNLOCK TABLES "); // unlock the table so other sessions can read next rows
        ........ code processing the read rows here .............
    } else { // if !empty emails2send
        // $emails2send is empty 
        $db->query (" UNLOCK TABLES; ");    
        $stop_running=true; // stop running
    }

另一个线程同时写入表。出于某种原因，我不明白这个配置因锁定表的读取和写入而陷入僵局。

我的问题是：这是否锁定正确的解决方案，以确保我只读一次一行（并删除它）。

或者这更好地作为交易处理，如果是这样的话？我没有交易经验。

Answer 1

使用交易可能会更好，尤其是在您遇到死锁的情况下。

首先，尝试将批量大小从50减少到1，看看情况是否有所改善。他们可能。这很容易。如果您使用交易，那么您将要做的事情。

其次，尝试这种查询序列。

  START TRANSACTION;
  SELECT @id := table.eq_log_id, table.* FROM table LIMIT 1 FOR UPDATE;
  /* handle the item here */
  DELETE FROM table WHERE eq_log_id = @id;
  COMMIT;

仅当eq_log_id是唯一（或主要）密钥时才有效。在php程序的循环中运行它，直到SELECT操作不返回任何行。然后睡一会儿，再试一次。

更好的方法是在表中添加一个名为processed的TIMESTAMP，默认值为null。然后，您可以更新其时间戳，而不是删除行。这将为您提供一种解决问题的方法。

START TRANSACTION;
SELECT @id:=eq_log_id, * FROM table WHERE processed IS NULL LIMIT 1 FOR UPDATE;
/* handle the item here */
UPDATE table SET processed=NOW() WHERE eq_log_id = @id;
COMMIT;

您可以运行隔夜批处理来清除所有陈旧的记录，例如

DELETE FROM table WHERE processed < CURDATE() - INTERVAL 1 DAY;

我建议这样做，因为在制作中查看已发送消息的时间历史非常有帮助。

Answer 2

计划A：

这假设您可以在少于2秒的时间内处理N行。你有N = 50 - 这可能太大了。

BEGIN;
SELECT ... LIMIT 50  FOR UPDATE;
... process ...
... gather a list of ids to delete ...
DELETE ... WHERE id IN (...)
COMMIT;

你抓得的越多，它越快，但也越容易陷入死锁。发生死锁时，只需启动事务。还要跟踪死锁发生的频率，以便调整“50”。

B计划：

当项目的处理对于交易来说“太长”时，这很有用。我说2秒可能“太长了”。

Grab a row to process:
with autocommit=ON ...
UPDATE ... SET who_is_processing = $me,
               when_grabbed = NOW()
               id = LAST_INSERT_ID(id),
           WHERE when_grabbed IS NULL
             AND any-other-criteria
           LIMIT 1;
$id = SELECT LAST_INSERT_ID();

... process $id ...  (This may or may not involve transactions)

Release the row (or, in your case, delete it):
again, autocommit=ON suffices...
DELETE ... WHERE id = $id;

“从不”使用InnoDB的表锁。（可能有用例，但这不是一个。）

Innodb交易还是表锁定？

2 个答案: