Question

PHP的crc32支持字符串作为输入。对于文件，下面的代码将工作OFC。

crc32(file_get_contents("myfile.CSV"));

但是如果文件变得很大（2 GB），它可能会引发内存不足致命错误。

所以可以找到大文件的校验和吗？

Answer 1

PHP不支持大于2GB（32位限制）的文件

从文件计算crc32的更有效方法：

$hash = hash_file('crc32b',"myfile.CSV" );

Answer 2

用户贡献的crc32()注释中的

This function声称在不加载完整文件的情况下计算值。如果它正常工作，它应该消除任何内存问题。

对于大于2 GB的文件，它可能会停止在您目前遇到的相同32位限制。

如果可能的话，我会调用一个外部工具来计算与手头文件一样大的文件的校验和。

Answer 3

dev-null-dweller 的答案是IMO的最佳选择。

但是，对于那些正在寻找hash_file('crc32b', $filename);的内存效率高的PHP4反向端口的人来说，这是一个基于this PHP manual comment的解决方案，并做了一些改进：

现在提供与hash_file()
它支持32位＆amp; 64位架构。

警告：性能很难看。试图改进。

注意：我已经尝试了一个基于zaf评论的C源代码的解决方案，但是我无法快速成功将其移植到PHP。

if (!function_exists('hash_file'))
{
    define('CRC_BUFFER_SIZE', 8192);

    function hash_file($algo, $filename, $rawOutput = false)
    {
        $mask32bit = 0xffffffff;

        if ($algo !== 'crc32b')
        {
            trigger_error("Unsupported hashing algorightm '".$algo."'", E_USER_ERROR);
            exit;
        }

        $fp = fopen($filename, 'rb');

        if ($fp === false)
        {
            trigger_error("Could not open file '".$filename."' for reading.", E_USER_ERROR);
            exit;
        }

        static $CRC32Table, $Reflect8Table;
        if (!isset($CRC32Table))
        {
            $Polynomial = 0x04c11db7;
            $topBit = 1 << 31;

            for($i = 0; $i < 256; $i++)
            {
                $remainder = $i << 24;
                for ($j = 0; $j < 8; $j++)
                {
                    if ($remainder & $topBit)
                        $remainder = ($remainder << 1) ^ $Polynomial;
                    else
                        $remainder = $remainder << 1;

                    $remainder &= $mask32bit;
                }

                $CRC32Table[$i] = $remainder;

                if (isset($Reflect8Table[$i]))
                    continue;
                $str = str_pad(decbin($i), 8, '0', STR_PAD_LEFT);
                $num = bindec(strrev($str));
                $Reflect8Table[$i] = $num;
                $Reflect8Table[$num] = $i;
            }
        }

        $remainder = 0xffffffff;
        while (!feof($fp))
        {
            $data = fread($fp, CRC_BUFFER_SIZE);
            $len = strlen($data);
            for ($i = 0; $i < $len; $i++)
            {
                $byte = $Reflect8Table[ord($data[$i])];
                $index = (($remainder >> 24) & 0xff) ^ $byte;
                $crc = $CRC32Table[$index];
                $remainder = (($remainder << 8) ^ $crc) & $mask32bit;
            }
        }

        $str = decbin($remainder);
        $str = str_pad($str, 32, '0', STR_PAD_LEFT);
        $remainder = bindec(strrev($str));
        $result = $remainder ^ 0xffffffff;
        return $rawOutput ? strrev(pack('V', $result)) : dechex($result);
    }
}

如何找到crc32的大文件？

3 个答案: