在PHP中进行高效的平面文件搜索

时间:2009-08-20 16:05:01

标签: php search file

我想在纯文本文件中存储0到~5000个IP地址,顶部有一个不相关的标题。像这样:

Unrelated data
Unrelated data
----SEPARATOR----
1.2.3.4
5.6.7.8
9.1.2.3

现在我想找到使用PHP的文本文件中是否有'5.6.7.8'。我只加载了整个文件并在内存中处理它,但我想知道是否有更有效的方法在PHP中搜索文本文件。如果它存在,我只需要一个真/假。

任何人都可以放光吗?或者我会不会先加载整个文件?

提前致谢!

7 个答案:

答案 0 :(得分:5)

5000并不是很多记录。你可以很容易地做到这一点:

$addresses = explode("\n", file_get_contents('filename.txt'));

并手动搜索它会很快。

如果您要存储更多内容,我建议将它们存储在数据库中,该数据库专为此类设计而设计。但是对于5000,我认为满负荷和强力搜索都没问题。

在遇到问题之前,请勿优化问题。没有必要过分复杂的解决方案。

答案 1 :(得分:1)

我不确定perl的命令行工具是否需要加载整个文件来处理它,但你可以做类似的事情:

<?php
...
$result = system("perl -p -i -e '5\.6\.7\.8' yourfile.txt");
if ($result)
    ....
else
    ....
...
?>

另一种选择是将IP存储在基于第一组或第二组的单独文件中:

# 1.2.txt
1.2.3.4
1.2.3.5
1.2.3.6
...

# 5.6.txt
5.6.7.8
5.6.7.9
5.6.7.10
...

... etc.

通过这种方式,您不必担心文件过大会导致性能下降,将整个文件加载到内存中。

答案 2 :(得分:0)

你可以炮轰出来并为它做好准备。

答案 3 :(得分:0)

您可以尝试fgets()

它逐行读取文件。我不确定这有多高效。我猜测,如果IP位于文件的顶部,那将更有效率,如果IP位于底部,那么效率将低于仅读取整个文件。

答案 4 :(得分:0)

您可以在Linux服务器上使用GREP命令和反引号。类似的东西:

$searchFor = '5.6.7.8';
$file      = '/path/to/file.txt';

$grepCmd   = `grep $searchFor $file`;
echo $grepCmd;

答案 5 :(得分:0)

我没有亲自测试过,但PHP手册中有一段代码用于大文件解析:

http://www.php.net/manual/en/function.fgets.php#59393

//File to be opened
$file = "huge.file";
//Open file (DON'T USE a+ pointer will be wrong!)
$fp = fopen($file, 'r');
//Read 16meg chunks
$read = 16777216;
//\n Marker
$part = 0;

while(!feof($fp)) {
    $rbuf = fread($fp, $read);
    for($i=$read;$i > 0 || $n == chr(10);$i--) {
        $n=substr($rbuf, $i, 1);
        if($n == chr(10))break;
        //If we are at the end of the file, just grab the rest and stop loop
        elseif(feof($fp)) {
            $i = $read;
            $buf = substr($rbuf, 0, $i+1);
            break;
        }
    }
    //This is the buffer we want to do stuff with, maybe thow to a function?
    $buf = substr($rbuf, 0, $i+1);
    //Point marker back to last \n point
    $part = ftell($fp)-($read-($i+1));
    fseek($fp, $part);
}
fclose($fp);

该片段由原作者:hackajar yahoo com

撰写

答案 6 :(得分:0)

您是否尝试将当前IP与IP列出的文本文件进行比较? 无关数据无论如何都不会匹配。 所以只需在完整文件内容上使用strpos(file_get_contents)。

<?php
    $file = file_get_contents('data.txt');
    $pos = strpos($file, $_SERVER['REMOTE_ADDR']);
    if($pos === false) {
        echo "no match for $_SERVER[REMOTE_ADDR]";
    }
    else {
        echo "match for $_SERVER[REMOTE_ADDR]!";
    }
?>