计算MD5哈希的CPU密集程度是否比SHA系列功能少？

时间：2010-04-27 16:19:09

标签： hash cryptography md5 sha1 sha2

在“标准”笔记本电脑x86硬件上计算MD5散列的CPU密集程度是否比SHA-1或SHA-2少？我对一般信息感兴趣，而不是特定于某个芯片。

更新 就我而言，我有兴趣计算文件的哈希值。如果文件大小很重要，我们假设它是300K。

7 个答案:

答案 0 :(得分：112)

是的，MD5的CPU密集程度稍低。在我的Intel x86（Core2 Quad Q6600,2.4 GHz，使用一个内核）上，我以32位模式得到它：

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

这是64位模式：

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

对于“长”消息，数字以兆字节/秒为单位（这是您获得的长度超过8 kB的消息）。这是sphlib，C（和Java）中的散列函数实现库。所有实现都来自同一作者（我），并且在优化方面做出了类似的努力;因此，速度差异可以被视为功能的真正内在。

作为比较点，请考虑最近的硬盘将以大约100 MB / s的速度运行，而任何通过USB的硬盘都将低于60 MB / s。尽管SHA-256在这里显得“慢”，但对于大多数用途来说它足够快。

请注意，OpenSSL包含一个32位的SHA-512实现，它比我的代码快得多（但速度不如64位SHA-512），因为OpenSSL实现是在汇编和使用SSE2寄存器，这是无法在普通C中完成的.SHA-512是这四个中唯一可以从SSE2实现中获益的功能。

this page上的

编辑，可以找到有关许多哈希函数速度的报告（点击“Telechargez maintenant”链接）。该报告采用法语，但大多数都是表格和数字，而且数字是国际性的。实现的哈希函数不包括SHA-3候选者（SHABAL除外），但我正在研究它。

答案 1 :(得分：42)

在我的2012 MacBook Air（英特尔酷睿i5-3427U，2x 1.8 GHz，2.8 GHz Turbo）上，SHA-1略快于MD5（在64位模式下使用OpenSSL）：

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

更新 10个月后，OS X 10.9，SHA-1在同一台机器上变慢了：

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

第二次更新：在OS X 10.10上，SHA-1速度回到了10.8级别：

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

答案 2 :(得分：10)

真正的答案是：取决于

有几个因素要考虑，最明显的是：运行这些算法的cpu以及算法的实现。

例如，我和我的朋友都运行完全相同的openssl版本，并使用不同的Intel Core i7 cpu获得略有不同的结果。

我使用英特尔（R）酷睿（TM）i7-2600 CPU @ 3.40GHz进行测试

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

他的英特尔（R）Core（TM）i7 CPU 920 @ 2.67GHz 

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

我们两人都在ArchLinux官方软件包中运行与2014年10月15日OpenSSL 1.0.1j完全相同的二进制文件。

我对此的看法是，随着sha1的安全性增加，cpu设计人员更有可能提高sha1的速度，并且更多的程序员将使用比md5sum更好的算法优化。

我想md5将在某一天不再使用，因为它似乎没有优于sha1的优势。我还在真实文件上测试了一些案例，结果在两种情况下总是相同的（可能受到磁盘I / O的限制）。

大的4.6GB文件的md5sum与同一文件的sha1sum完全相同，与许多小文件（同一目录中的488）相同。我跑了十几次测试，他们一直在得到相同的结果。

-

进一步调查这将是非常有趣的。我想有一些专家可以提供一个可靠的答案，为什么sha1在新的处理器上比md5更快。

答案 3 :(得分：3)

作为spent a bit of time optimizing MD5 performance的人，我想向将来碰巧发现此问题的任何人提供比此处提供的基准更多的技术解释。

MD5比SHA1做更少的“工作”（例如，更少的压缩回合），因此人们可能会认为它应该更快。但是，MD5算法主要是一条很大的依赖链，这意味着它不能很好地利用现代超标量处理器（即，每时钟指令数低）。 SHA1具有更多可用的并行性，因此尽管需要完成更多的“计算工作”，但在现代超标量处理器上，它最终往往比MD5更快。
如果在较旧的处理器或超标量“宽度”较小的处理器（例如基于Silvermont的Atom CPU）上进行MD5与SHA1的比较，通常会发现MD5比SHA1更快。

SHA2和SHA3比SHA1的计算强度更高，并且通常要慢得多。
但是，要注意的一件事是，某些新的x86和ARM CPU具有加速SHA1和SHA256的指令，如果使用这些指令，显然可以大大帮助这些算法。

顺便说一句，SHA256和SHA512性能可能表现出类似的好奇行为。 SHA512比SHA256做更多的“工作”，但是两者之间的主要区别在于SHA256使用32位字操作，而SHA512使用64位字操作。因此，在具有64位字长的平台上，SHA512通常比SHA256快，因为它一次处理的数据量是原来的两倍。相反，在具有32位字长的平台上，SHA256的性能应优于SHA512。

请注意，以上所有内容仅适用于单个缓冲区哈希（到目前为止，是最常见的用例）。如果您想同时并行计算多个散列，即采用多缓冲区SIMD方法，则行为会有所变化。

答案 4 :(得分：1)

MD5也受益于SSE2的使用，查看BarsWF，然后告诉我它没有。所需要的只是一点汇编知识，您可以制作自己的MD5 SSE2例程。但是，对于大量的吞吐量，在散列期间需要权衡速度，而不是重新排列输入数据以与所使用的SIMD指令兼容所花费的时间。

答案 5 :(得分：0)

sha1sum在Power9上比md5sum快很多

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

答案 6 :(得分：-1)

[
Is MD5 faster or SHA1? ]

It's implementation dependent:

|*|
[
Theoretically the MD5 algorithm would do less work than SHA1, but the design of MD5 itself determined that the algorithm cannot effectively exploit computation parallelism (i.e. cannot effectively utilize a multi-processor system; or processors that utilize instruction-level parallelism). While SHA1 would provide better opportunity for so.

This is part of the reason why in some implementations SHA1 would outperform MD5. ]

|*|
[
There are also processors that provide dedicated hardware acceleration support for SHA1.

When properly utilized, such implementations tend to easily outperform software based MD5 implementations:

[ Quote dr-js @ CE 2021-01-28 10:31 UTC:
https://security.stackexchange.com/a/95697

2021 update with OpenSSL 1.1.1d: now we see md5 is often slower on newer CPU, and for larger chunks:

[
## PC i7-1165G7 @ 2.80GHz (2020)
OpenSSL 1.1.1d  10 Sep 2019 / built on: Mon Dec  7 20:44:45 2020 UTC
type      16 bytes    64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
md5     189018.70k  418310.85k   712090.28k   890189.14k   956293.12k   962560.00k
sha1    287134.62k  746529.17k  1474064.38k  1973607.08k  2197842.60k  2192179.20k
sha256  222301.71k  603962.47k  1213340.33k  1665262.59k  1849016.32k  1847388.84k

## Server AMD EPYC 7571 (2018)
OpenSSL 1.1.1d  10 Sep 2019 / built on: Mon Dec  7 20:44:45 2020 UTC
type      16 bytes    64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
md5      93668.33k  213979.18k   378971.56k   467472.38k   501205.67k   504064.68k
sha1    165020.82k  442991.72k   888443.48k  1188591.62k  1319236.95k  1330080.43k
sha256  142886.55k  375612.63k   791567.70k  1095950.34k  1234381.48k  1246827.86k

## Server E5-2682 v4 @ 2.50GHz (2016)
OpenSSL 1.1.1d  10 Sep 2019 / built on: Mon Dec  7 20:44:45 2020 UTC
type      16 bytes    64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
md5     101505.24k  207422.92k   393158.83k   453332.99k   527085.34k   490711.72k
sha1     98091.83k  249828.79k   389640.36k   675694.25k   686966.33k   721021.61k
sha256   55421.86k  130103.33k   251929.17k   302571.86k   296977.81k   338439.56k
] ]

Worth noticing that even SHA-256 could be faster than MD5 in such cases. ]


To put it in a simple (though not so accurate) statement:

|*| For high-end processors, SHA1 tends to be faster.
|*| For low-end processors, MD5 would be faster.


[ Quote Nyan @ CE 2020-12-10 10:18 UTC:
https://stackoverflow.com/a/64928816

Note that all of the above only applies to single buffer hashing (by far the most common use case). If you're fancy and computing multiple hashes in parallel, i.e. a multi-buffer SIMD approach, the behaviour changes somewhat. ]
相关问题
最新问题