Question

我目前的代码：

$fileone= fopen("fileone.sql", "r"); //opens file fileone.sql
$fileonewrite = fopen("fileone.rdf", "w"); //this is the file to write to

$fileNum=1;
$i=0;
while (!feof($fileone) ) { //feof = while not end of file


    if ($contents = fread($fileonewrite ,53687091200));  //if file is more than 50gb, write to new file (below) .. this doesnt seem to work properly
    {    file_put_contents('fileone'.$fileNum.'.rdf',$contents);
    $fileNum++; 
    }

    $fileoneRow[] = fgets($fileone);  //fgets gets line
    $fileoneParts = explode("\t", $fileoneRow[$i]); //explode using tab delimiter 



    fwrite( " lots of stuff" );
     unset($fileoneParts);
    }
    fclose($fileonetype);   
    fclose($fileonewrite);

在阅读大量数据并输出更多数据时，创建的文件很容易达到> 200GB。这会导致内存问题。所以我想做的是，当写入的文件，例如fileone.rdf，达到50gb时，我想开始写入filetwo。我的代码atm，并没有很好地工作，因为它似乎输出了数千个空文件。

感谢您阅读我的查询，任何帮助，我们都非常感激。

Answer 1

if ($contents = fread($fileonewrite ,53687091200));  //if file is more than 50gb, write  to new file (below) .. this doesnt seem to work properly
                                                  ^----BUG BUG BUG
{    file_put_contents('fileone'.$fileNum.'.rdf',$contents);
$fileNum++; 
}

;终止if（）语句，因此{}中的代码是 NOT if（）;如果fread没有返回数据（eof），那么无论if（）测试是如何出现的，你仍然会从文件中写出一个空的$ content。

一次读取50gig数据简直就是疯了。为什么不在这些方面更多的东西：

$in = fopen('input');
$out = fopen('output');
$read = 0;
while($data = fread($fh, 1024*1024)) { // read in 1meg chunks 
    fwrite($out, $data);
    $read += strlen($data);
    if ($read > 50gig) {
        fclose($out);
        $out = fopen('new file goes here');
        $read = 0;
    }
}

这将以1meg块进行复制，这会使FAR FAR FAR对系统内存的压力减小，然后在最终复制到50gig时交换到新文件。

当文件大小超过50gb时，如何写入不同的文件

1 个答案: