如果两个文件是Uniq,则在Node.js中进行有效比较

时间:2017-12-23 10:02:21

标签: node.js npm diff

我正在寻找一种有效的方法来比较Node.js中的两个文件是否为uniq。

我需要知道的是文件是否相同。简单的true / false作为输出就足够了。

在文件上构建校验和有点慢。与此同时,Linux diff命令可以快速比较大型文件。所以我很好奇是否在Node.js中有效的Linux diff命令中有任何等价物或模块。

正如评论中所建议的那样 - 我们可以尝试使用stream-equal模块。

我只是尝试将相同的 1.3 GB文件与stream-equaldiff进行比较

请参阅以下时间范围:

9.352s - stream-equal
0.008s - diff 

看起来diff非常快。

我想在大文件上加速的一种方法是通过读取相同大小大文件的前10个字节和最后10个字节并进行比较。如果第一个和最后一个字节相等,那么文件很可能是相同的。

但是我现在还不太确定实现这个的正确方法是什么。

0 个答案:

没有答案