Question

我需要获取，转换然后将4 000 000行插入另一个表中。有人说，一个内存耗尽的错误在30万条目之后开始。每个循环后，分配的内存增加了160个字节。我知道使用mysql_unbuffered_query（）是可能的，虽然它强制我在执行另一个查询之前获取所有结果行，这最终会再次导致内存耗尽错误。那么，一次运行的最佳方法是什么？

mysql_connect($host, $user, $password);
mysql_select_db($db);

$getOldData = mysql_query("
SELECT *
FROM players_online 
ORDER by id ASC
");
$numRows = mysql_num_rows($getOldData);

for ($i=0; $i < $numRows; $i++) { 
$oldData = mysql_fetch_assoc($getOldData);
$hour = explode(':', $oldData['hour']);
$quarters = $hour[0] * 4 + $hour[1] / 15;

$update = mysql_query("
    INSERT INTO players_online_2 (world_id, players_online, quarters_past_midnight, date)
    VALUES (
        '".$oldData['world_id']."', 
        '".$oldData['players_online']."', 
        '".$quarters."', 
        '".$oldData['date']."'
    )
    ON DUPLICATE KEY UPDATE
        world_id='".$oldData['world_id']."', 
        players_online='".$oldData['players_online']."', 
        quarters_past_midnight='".$quarters."', 
        date='".$oldData['date']."'
");

if (mysql_error()) {
    echo mysql_error();
    die();
}

echo memory_get_usage().PHP_EOL;

}

Answer 1

MySQL Workbench会让您export旧数据库，import将其放入新位置。

尽管如此，如果您想在PHP中执行此操作，您可能不应该一次性返回整个表。您可以使用LIMIT和OFFSET将查询拆分为多个页面，然后一次执行一个页面。像这样：

for ($i = 0; $i < $Limit; $i++)
{
  // SELECT * FROM players_online ORDER by id ASC LIMIT 1000 OFFSET ' . $i
}

Answer 2

您可以在单个查询中执行此操作，例如：

INSERT INTO players_online_2 (world_id, players_online, quarters_past_midnight, date)
    select world_id, players_online, quarters_past_midnight, date
    FROM players_online po
    ORDER by id ASC
ON DUPLICATE KEY UPDATE
    world_id = po.world_id,
    players_online = po.players_online, 
    quarters_past_midnight = po.quarters_past_midnight, 
    date = po.date;

将数据从一个mysql表复制到另一个mysql表时出现内存问题

2 个答案: