mysql获取行内存错误

时间:2012-08-21 23:34:37

标签: php mysql memory

我使用修改过的php mysql备份脚本,我在网上找到备份我的sql数据库,但我一直遇到mysql_fetch_row的问题,我想知道是否有办法解决它。

我用内存错误评论了该行。

<?php
ini_set('memory_limit','4000M');
$ho = "host";
$us = "username";
$pa = "password";
$da='dbname';

backup_tables($ho,$us,$pa,$da);


/* backup the db OR just a table */
function backup_tables($host,$user,$pass,$name,$tables = '*')
{
    $link = mysql_connect($host,$user,$pass);
    mysql_select_db($name,$link);

    //get all of the tables
    if($tables == '*')
    {
        $tables = array();
        $result = mysql_query('SHOW TABLES');
        while($row = mysql_fetch_row($result))
        {
            $tables[] = $row[0];
        }
    }
    else
    {
        $tables = is_array($tables) ? $tables : explode(',',$tables);
    }

    $filename = 'db-backup-'.time().'-'.(md5(implode(',',$tables))).'.sql';
    $handle = fopen($filename,'w');

    //cycle through
    foreach($tables as $table)
    {
        $result = mysql_query('SELECT * FROM '.$table);
        $num_fields = mysql_num_fields($result);

        fwrite( $handle, 'DROP TABLE '.$table.';' );

        $row2 = mysql_fetch_row(mysql_query('SHOW CREATE TABLE '.$table));
        fwrite( $handle, "\n\n".$row2[1].";\n\n" );

        for ($i = 0; $i < $num_fields; $i++)
        {
            //this is the line with the error******
            while($row = mysql_fetch_row($result))
            {
                fwrite( $handle, 'INSERT INTO '.$table.' VALUES(' );
                for($j=0; $j<$num_fields; $j++)
                {
                    $row[$j] = addslashes($row[$j]);
                    $row[$j] = ereg_replace("\n","\\n",$row[$j]);
                    if (isset($row[$j])) { fwrite( $handle, '"'.$row[$j].'"' ) ; } 
                    else { fwrite( $handle, '""' ); }

                    if ($j<($num_fields-1)) { fwrite( $handle, ',' ); }
            }
            fwrite( $handle, ");\n" );
       }
     }
    fwrite( $handle, "\n\n\n" );
}

    //save file

    fclose($handle);
}
?>

这是错误:

Fatal error: Out of memory (allocated 1338507264) (tried to allocate 35 bytes) in /home/user/backupSQL/backupmodified.php on line 47

我知道有更好的方法可以进行备份,但这符合我对系统的所有要求,而且只会遇到我庞大的数据库中的内存问题。

感谢您的帮助。

-PHP / MySQL新手

PS。继承人我使用http://www.htmlcenter.com/blog/back-up-your-mysql-database-with-php/

的链接

编辑:mysqldump在备份这些大型数据库时工作正常,但是大型dbs是修改最多的数据库,当有人需要处理它们时我无法锁定我的dbs。这就是我使用这个剧本的原因。

3 个答案:

答案 0 :(得分:1)

这是一个非常典型的问题,转储以某种方式分配与表大小成比例的内存量。您应该在脚本中实现类似于mysqldump中的“--opt”选项,并查看如何转储大型数据库,例如https://dba.stackexchange.com/questions/20/how-can-i-optimize-a-mysqldump-of-a-large-database

为什么不使用 mysqldump 将输出记录到某个文件?

答案 1 :(得分:1)

正如其他海报所提到的,你最好使用现成的工具,但现在让我们谈谈你的脚本。

如果你有一个可笑的大表,那么就没有办法分配那么多的内存。您必须将数据集拆分为多个块。使用如下查询:

$result = mysql_query('SELECT * FROM '.$table.' LIMIT '.$start.', 10000');

然后只需使用$start进行迭代或执行while循环来检查您是否仍在获得结果。像这样,你将获得10000条记录的数据,所以它肯定适合你的记忆。

但仍存在一个问题 - 一致性。如果某些行在您仍在获取块时发生了变化,该怎么办?好吧,你可以将SELECT循环包装在一个事务中,并在获取数据时锁定表。我知道你试图避免锁,但锁定表比整个数据库更好。这仍然不能确保表间一致性,但它是在您设置的条件下可以做到的最好的。

编辑:这是循环的代码。我实施了while解决方案。有一个等效的for循环,但两者之间的比较超出了本文的范围。

foreach($tables as $table)
{
    fwrite( $handle, 'DROP TABLE '.$table.';' );

    $row2 = mysql_fetch_row(mysql_query('SHOW CREATE TABLE '.$table));
    fwrite( $handle, "\n\n".$row2[1].";\n\n" );

    $start = 0;
    do {
        $result = mysql_query( 'SELECT * FROM '.$table.' LIMIT '.$start.', 10000' );
        $start += 10000;
        $num_rows = mysql_num_rows( $result );

        while( $row = mysql_fetch_row( $result ) ) {
            $line = 'INSERT INTO '.$table.' VALUES(';
            foreach( $row as $value ) {
                $value = addslashes( $value );
                $value = ereg_replace( "\n","\\n", $value );
                $line .= '"'.$value.'",';
            }
            $line = substr( $line, 0, -1 ); // cut the final ','
            $line .= ');\n';
            fwrite( $handle, $line );
        }
    } while( $num_rows !== 0 );
}

答案 2 :(得分:1)

mysql 扩展程序具有专为大型数据库查询而设计的mysql_unbuffered_query函数。

mysqli 中的等价物利用了mysqli_query的第二个参数,例如:

$res = $mysqli->query('SELECT * FROM large_database', MYSQLI_USE_RESULT);
while ($row = $res->fetch_assoc()) {
    ...
}

这种方法有一些缺点,例如,您无法知道$res中的行数,并且在$res被释放之前无法执行其他查询。