如何在连接文本文件中查找重复的行

Question

我最近将10个JavaScript文件转换为一个文件，然后运行JavaScript编译器。我刚才有一个错误，我重用了一个函数名。

是否有工具检查合并文件中的重复行/函数名称？

或者我应该创建一个小程序？

Answer 1

我没有尝试过，但http://www.rlvision.com/dupli/about.asp提供的“Dupli查找”可能会对您有所帮助。

Windows PowerShell脚本中概述的 http://secretgeek.net/ps_duplicates.asp还可以帮助您编写自定义工具。

还有一个脚本解决方案 http://www.microsoft.com/technet/scriptcenter/resources/qanda/aug05/hey0819.mspx

Answer 2

cat file.js | grep -o "function\([[:space:]]\+[a-zA-Z0-9_]\+\)\?[[:space:]]*(" | sort | uniq -c | sort -n

其中包括：

• Cat文件
• 寻找功能定义（function-ws-name-ws-paren） -o只​​提取匹配的行部分（即只定义本身）
• 排序（下一步）
• 计算相同的结果行（uniq删除重复项，-c添加计数）
• 按出现次数按数字排序，以便重复（如果有的话显示在最后）

您可以过滤掉非重复内容，但只需进行排序以便它们排在第一位。

修改更改了正则表达式以包含匿名函数