这是this question的后续行动。
如果有多个blob具有相同的内容,它们只会在git存储库中存储一次,因为它们的SHA-1将是相同的。如何找到给定树的所有重复文件?
你是否必须遍历树并寻找重复的哈希值,或者git是否提供了每个blob的反向链接到引用它的树中的所有文件?
答案 0 :(得分:21)
[alias]
# find duplicate files from root
alldupes = !"git ls-tree -r HEAD | cut -c 13- | sort | uniq -D -w 40"
# find duplicate files from the current folder (can also be root)
dupes = !"cd `pwd`/$GIT_PREFIX && git ls-tree -r HEAD | cut -c 13- | sort | uniq -D -w 40"
答案 1 :(得分:8)
在我工作的代码库上运行这个让我大开眼界,我可以告诉你!
#!/usr/bin/perl
# usage: git ls-tree -r HEAD | $PROGRAM_NAME
use strict;
use warnings;
my $sha1_path = {};
while (my $line = <STDIN>) {
chomp $line;
if ($line =~ m{ \A \d+ \s+ \w+ \s+ (\w+) \s+ (\S+) \z }xms) {
my $sha1 = $1;
my $path = $2;
push @{$sha1_path->{$sha1}}, $path;
}
}
foreach my $sha1 (keys %$sha1_path) {
if (scalar @{$sha1_path->{$sha1}} > 1) {
foreach my $path (@{$sha1_path->{$sha1}}) {
print "$sha1 $path\n";
}
print '-' x 40, "\n";
}
}
答案 2 :(得分:7)
刚刚制作了一个突出显示由git ls-tree
呈现的重复项的单行
可能有用
git ls-tree -r HEAD |
sort -t ' ' -k 3 |
perl -ne '$1 && / $1\t/ && print "\e[0;31m" ; / ([0-9a-f]{40})\t/; print "$_\e[0m"'
答案 3 :(得分:3)
您链接问题的脚本答案也非常适用于此。
从git存储库的根目录尝试以下git命令。
git ls-tree -r HEAD
这会生成当前HEAD中所有'blob'的递归列表,包括它们的路径和sha1 id。
git不维护从blob到树的反向链接,所以它将是一个脚本任务(perl,python?)来解析git ls-tree -r
输出并创建一个出现多次的所有sha1的摘要报告在列表中。
答案 4 :(得分:0)
更一般:
( for f in `find .`; do test -f $f && echo $(wc -c <$f) $(md5 -q $f) ; done ) |sort |uniq -c |grep -vE '^\s*1\b' |sed 's/.* //' > ~/dup.md5 ; \
( for f in `find .`; do test -f $f && echo $(wc -c <$f) $(md5 -q $f) $f; done ) |fgrep -f ~/dup.md5 |sort
答案 5 :(得分:0)
对于Windows / PowerShell用户:
git ls-tree -r HEAD | group { $_ -replace '.{12}(.{40}).*', '$1' } | ? { $_.Count -gt 1 } | select -expand Group
输出如下内容:
100644 blob 8a49bcbae578c405ba2596c06f46fabbbc331c64 filename1
100644 blob 8a49bcbae578c405ba2596c06f46fabbbc331c64 filename2
100644 blob c1720b20bb3ad5761c1afb6a3113fbc2ba94994e filename3
100644 blob c1720b20bb3ad5761c1afb6a3113fbc2ba94994e filename4