Question

我的文件由10000条不同的行组成。我需要从这个文件中取100个随机uniq行并将它们写入另一个文件。用php做最简单的方法是什么？

Answer 1

天真的方式：

$lines = file('somefile.txt');
shuffle($lines);
$random_lines = array_slice($lines, 0, 10);

注意：这完全忽略了系统资源注意事项。

Answer 2

更快解决更大的行

function m1($file) {
    $fp = fopen($file, "r");
    $size = filesize($file);
    $list = array();
    $n = 0;
    while ( true ) {
        fseek($fp, mt_rand(0, $size));
        fgets($fp);
        $pos = ftell($fp);
        isset($list[$pos]) or $s = trim(fgets($fp)) and $list[$pos] = $s and $n ++;
        if ($n >= 100)
            break;
    }
    return $list;
}



function m2($file) {
    $lines = file($file);
    shuffle($lines);
    $list = array_slice($lines, 0, 100);
    return $list;
}

带有接受解决方案的简单基准

10,000行

Array
(
    [m1] => 0.013591051101685 <------ M1 Faster
    [m2] => 0.033689975738525
)

100,000行

Array
(
    [m1] => 0.014040946960449 <------ M1 Faster
    [m2] => 0.094476938247681
)

Full Benchmark Code

File Used

从文件中获取唯一的随机行，并使用php将它们写入另一个文件

2 个答案: