PHP拆分fwrite以节省内存

时间:2012-08-20 22:33:33

标签: php mysql fopen fwrite

我目前正在使用http://davidwalsh.name/backup-mysql-database-php中的脚本 像myisam sql数据库的备份一样进行“hotcopy”但是我遇到的问题是我因内存不足而出现致命错误。

我正在使用HUGE数据库,因此它将整个dbs写入字符串,然后立即将整个字符串输出到fwrite中,我相信这就是问题所在。那么是否可以将写入操作拆分为块,这样我就不会遇到内存不足致命错误?如果是这样,你将如何实现这一目标?

这是我的尝试:

ini_set('memory_limit','3000M');
//create the file to be written into
$return = '';
$f = 'db-backup-'.$name.'_'.time().'.sql'; 
$handle = fopen($f,'w+');
fwrite($handle,$return);
fclose($handle);

//...mysql connect goes here then...
//cycle through
foreach($tables as $table)
{
  $result = mysql_query('SELECT * FROM '.$table);
  $num_fields = mysql_num_fields($result);

  $return.= 'DROP TABLE '.$table.';';
  $row2 = mysql_fetch_row(mysql_query('SHOW CREATE TABLE '.$table));
  $return.= "\n\n".$row2[1].";\n\n";

  for ($i = 0; $i < $num_fields; $i++) 
  {
    while($row = mysql_fetch_row($result))
    {
      $return.= 'INSERT INTO '.$table.' VALUES(';
      for($j=0; $j<$num_fields; $j++) 
      {
        $row[$j] = addslashes($row[$j]);
        $row[$j] = ereg_replace("\n","\\n",$row[$j]);
        if (isset($row[$j])) { $return.= '"'.$row[$j].'"' ; } else { $return.= '""'; }
        if ($j<($num_fields-1)) { $return.= ','; }
    }
    $return.= ");\n";
  }
}
$return.="\n\n\n";

//Write each table into file
fopen($f,'w+');
fwrite($handle,$return);
fclose($handle);
$return ='';  //clear return thus clearing memory?
}

我知道有更好的备份数据库的方法,这只是暂时的,直到我让LVM工作。

由于

TL; DR fwrite给出内存不足错误,如果分割写入将避免该问题?

PS。 mysqldump锁定了dbs所以我不能使用dump,并且由于我们使用临时表而临时表是必须的,因此复制被破坏。

1 个答案:

答案 0 :(得分:1)

更改此

$result = mysql_query('SELECT * FROM '.$table);

$result = mysql_query('SELECT * FROM LIMIT 5000'.$table); //this will only get the first 5000.

获得并保存后,您可以使用

完成其余的工作
$result = mysql_query('SELECT * FROM OFFSET 5000'.$table);  //you can use limit over here too...