如何恢复因硬盘故障而损坏的Git对象?

时间:2009-04-29 09:21:04

标签: git corruption data-recovery

我遇到了硬盘故障导致Git存储库的某些文件损坏。运行git fsck --full时,我得到以下输出:

error: .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack SHA1 checksum mismatch
error: index CRC mismatch for object 6c8cae4994b5ec7891ccb1527d30634997a978ee from .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack at offset 97824129
error: inflate: data stream error (invalid code lengths set)
error: cannot unpack 6c8cae4994b5ec7891ccb1527d30634997a978ee from .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack at offset 97824129
error: inflate: data stream error (invalid stored block lengths)
error: failed to read object 0dcf6723cc69cc7f91d4a7432d0f1a1f05e77eaa at offset 276988017 from .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack
fatal: object 0dcf6723cc69cc7f91d4a7432d0f1a1f05e77eaa is corrupted

我有存储库的备份,但包含包文件的唯一备份已经损坏了。所以我认为我必须找到一种方法从不同的备份中检索单个对象,并以某种方式指示Git生成一个只包含正确对象的新包。

您能否告诉我如何修复我的存储库?

8 个答案:

答案 0 :(得分:81)

在以前的某些备份中,您的坏对象可能已打包在不同的文件中,或者可能是松散的对象。所以你的对象可能会被恢复。

您的数据库中似乎有一些坏对象。所以你可以用手动的方式来做。

由于git hash-objectgit mktreegit commit-tree不会写对象,因为它们在包中找到,然后开始执行此操作:

mv .git/objects/pack/* <somewhere>
for i in <somewhere>/*.pack; do
  git unpack-objects -r < $i
done
rm <somewhere>/*

(您的包已从存储库中移出,并再次在其中解压缩;只有好的对象现在在数据库中)

你可以这样做:

git cat-file -t 6c8cae4994b5ec7891ccb1527d30634997a978ee

并检查对象的类型。

如果类型为blob:从以前的备份中检索文件的内容(使用git showgit cat-filegit unpack-file;然后您可以git hash-object -w重写该对象在您当前的存储库中。

如果类型是树:您可以使用git ls-tree从以前的备份恢复树;然后git mktree在当前的存储库中再次编写它。

如果类型是提交:与git showgit cat-filegit commit-tree相同。

当然,在开始此过程之前,我会备份您的原始工作副本。

另外,请查看How to Recover Corrupted Blob Object

答案 1 :(得分:38)

Banengusk让我走上正轨。为了进一步参考,我想发布我为修复存储库损坏而采取的步骤。我很幸运能够在旧包或存储库备份中找到所有需要的对象。

# Unpack last non-corrupted pack
$ mv .git/objects/pack .git/objects/pack.old
$ git unpack-objects -r < .git/objects/pack.old/pack-012066c998b2d171913aeb5bf0719fd4655fa7d0.pack
$ git log
fatal: bad object HEAD

$ cat .git/HEAD 
ref: refs/heads/master

$ ls .git/refs/heads/

$ cat .git/packed-refs 
# pack-refs with: peeled 
aa268a069add6d71e162c4e2455c1b690079c8c1 refs/heads/master

$ git fsck --full 
error: HEAD: invalid sha1 pointer aa268a069add6d71e162c4e2455c1b690079c8c1
error: refs/heads/master does not point to a valid object!
missing blob 75405ef0e6f66e48c1ff836786ff110efa33a919
missing blob 27c4611ffbc3c32712a395910a96052a3de67c9b
dangling tree 30473f109d87f4bcde612a2b9a204c3e322cb0dc

# Copy HEAD object from backup of repository
$ cp repobackup/.git/objects/aa/268a069add6d71e162c4e2455c1b690079c8c1 .git/objects/aa
# Now copy all missing objects from backup of repository and run "git fsck --full" afterwards
# Repeat until git fsck --full only reports dangling objects

# Now garbage collect repo
$ git gc
warning: reflog of 'HEAD' references pruned commits
warning: reflog of 'refs/heads/master' references pruned commits
Counting objects: 3992, done.
Delta compression using 2 threads.
fatal: object bf1c4953c0ea4a045bf0975a916b53d247e7ca94 inconsistent object length (6093 vs 415232)
error: failed to run repack

# Check reflogs...
$ git reflog

# ...then clean
$ git reflog expire --expire=0 --all

# Now garbage collect again
$ git gc       
Counting objects: 3992, done.
Delta compression using 2 threads.
Compressing objects: 100% (3970/3970), done.
Writing objects: 100% (3992/3992), done.
Total 3992 (delta 2060), reused 0 (delta 0)
Removing duplicate objects: 100% (256/256), done.
# Done!

答案 2 :(得分:15)

首先尝试以下命令(如果需要,再次重新运行):

$ git fsck --full
$ git gc
$ git gc --prune=today
$ git fetch --all
$ git pull --rebase

然后你还有问题,试试可以:

  • 删除所有损坏的对象,例如

    fatal: loose object 91c5...51e5 (stored in .git/objects/06/91c5...51e5) is corrupt
    $ rm -v .git/objects/06/91c5...51e5
    
  • 删除所有空对象,例如

    error: object file .git/objects/06/91c5...51e5 is empty
    $ find .git/objects/ -size 0 -exec rm -vf "{}" \;
    
  • 检查&#34;断开链接&#34;消息:

    git ls-tree 2d9263c6d23595e7cb2a21e5ebbb53655278dff8
    

    这将告诉您腐败blob来自哪个文件!

  • 要恢复文件,您可能真的很幸运,它可能是您已在工作树中检出的版本:

    git hash-object -w my-magic-file
    

    再次,如果它输出缺少的SHA1(4b945 ..),你现在全部完成了!

  • 假设某些旧版本被破坏,最简单的方法是:

    git log --raw --all --full-history -- subdirectory/my-magic-file
    

    这将显示该文件的整个日志(请注意您所拥有的树可能不是顶级树,因此您需要自己确定它所在的子目录),然后您就可以了现在再次使用hash-object重新创建缺少的对象。

  • 获取缺少提交,树或blob的所有引用的列表:

    $ git for-each-ref --format='%(refname)' | while read ref; do git rev-list --objects $ref >/dev/null || echo "in $ref"; done
    

    使用常规分支-d或tag -d命令可能无法删除其中一些引用,因为如果git注意到损坏,它们将会死亡。所以请改用管道命令git update-ref -d $ ref。请注意,在本地分支的情况下,此命令可能会在.git / config中留下过时的分支配置。它可以手动删除(查找[branch&#34; $ ref&#34;]部分)。

  • 在所有引用都是干净的之后,reflog中可能仍然存在提交中断。您可以使用git reflog expire --expire = now --all清除所有reflog。如果您不想丢失所有reflog,可以在单个refs中搜索损坏的reflog:

    $ (echo HEAD; git for-each-ref --format='%(refname)') | while read ref; do git rev-list -g --objects $ref >/dev/null || echo "in $ref"; done
    

    (注意git rev-list添加了-g选项。)然后,对每个使用git reflog expire --expire = now $ ref。 当所有损坏的ref和reflog都消失后,运行git fsck --full以检查存储库是否干净。悬空物体是好的。


下面你可以找到命令的高级用法,如果没有明智地使用它们可能会导致你的git存储库中的数据丢失,所以在你不小心对你的git进行进一步的损害之前做一个备份。如果您知道自己在做什么,请自行承担风险。


在获取后将当前分支拉到上游分支的顶部:

$ git pull --rebase

您也可以尝试签出新分支并删除旧分支:

$ git checkout -b new_master origin/master

要在git中找到要删除的损坏对象,请尝试以下命令:

while [ true ]; do f=`git fsck --full 2>&1|awk '{print $3}'|sed -r 's/(^..)(.*)/objects\/\1\/\2/'`; if [ ! -f "$f" ]; then break; fi; echo delete $f; rm -f "$f"; done

对于OSX,请使用sed -E代替sed -r


其他想法是解压缩包文件中的所有对象以重新生成.git / objects中的所有对象,因此请尝试在存储库中运行以下命令:

$ cp -fr .git/objects/pack .git/objects/pack.bak
$ for i in .git/objects/pack.bak/*.pack; do git unpack-objects -r < $i; done
$ rm -frv .git/objects/pack.bak

如果上面没有帮助,你可以尝试rsync或从另一个repo复制git对象,例如

$ rsync -varu git_server:/path/to/git/.git local_git_repo/
$ rsync -varu /local/path/to/other-working/git/.git local_git_repo/
$ cp -frv ../other_repo/.git/objects .git/objects

在尝试结帐时修复损坏的分支,如下所示:

$ git checkout -f master
fatal: unable to read tree 5ace24d474a9535ddd5e6a6c6a1ef480aecf2625

尝试将其删除并再次从上游结帐:

$ git branch -D master
$ git checkout -b master github/master

如果git让你进入分离状态,请检查master并将分离的分支合并到其中。


另一个想法是递归地重新定义现有的主服务器:

$ git reset HEAD --hard
$ git rebase -s recursive -X theirs origin/master

另见:

答案 3 :(得分:2)

以下是我从损坏的blob对象中恢复的步骤。

1)识别腐败斑点

git fsck --full
  error: inflate: data stream error (incorrect data check)
  error: sha1 mismatch 241091723c324aed77b2d35f97a05e856b319efd
  error: 241091723c324aed77b2d35f97a05e856b319efd: object corrupt or missing
  ...

腐败斑点 241091723c324aed77b2d35f97a05e856b319efd

2)将腐败的斑点移到安全的地方(以防万一)

mv .git/objects/24/1091723c324aed77b2d35f97a05e856b319efd ../24/

3)获取腐败blob的父母

git fsck --full
  Checking object directories: 100% (256/256), done.
  Checking objects: 100% (70321/70321), done.
  broken link from    tree 0716831e1a6c8d3e6b2b541d21c4748cc0ce7180
              to    blob 241091723c324aed77b2d35f97a05e856b319efd

父哈希 0716831e1a6c8d3e6b2b541d21c4748cc0ce7180

4)获取与腐败blob相对应的文件名

git ls-tree 0716831e1a6c8d3e6b2b541d21c4748cc0ce7180
  ...
  100644 blob 241091723c324aed77b2d35f97a05e856b319efd    dump.tar.gz
  ...

在备份或上游git存储库中查找此特定文件(在我的情况下,它是 dump.tar.gz )。然后将其复制到本地存储库中的某个位置。

5)在git对象数据库中添加先前损坏的文件

git hash-object -w dump.tar.gz

6)庆祝!

git gc
  Counting objects: 75197, done.
  Compressing objects: 100% (21805/21805), done.
  Writing objects: 100% (75197/75197), done.
  Total 75197 (delta 52999), reused 69857 (delta 49296)

答案 4 :(得分:1)

Git checkout实际上可以从修订中挑选出单个文件。只需给它提交哈希和文件名。更详细的信息here.

我想安全修复此问题的最简单方法是恢复到最新的非常规备份,然后从新提交中选择性地挑选未损坏的文件。祝你好运!

答案 5 :(得分:1)

如果您的备份已损坏,或者您的备份也有部分损坏,这两个功能可能会有所帮助(如果备份损坏的对象,可能会发生这种情况)。

在您尝试恢复的仓库中运行。

标准警告:仅在您真正绝望并且备份了(已损坏的)回购时才使用。这可能无法解决任何问题,但至少应突出腐败程度。

File::files('E:')

fsck_rm_corrupted() {
    corrupted='a'
    while [ "$corrupted" ]; do
        corrupted=$(                                  \
        git fsck --full --no-dangling 2>&1 >/dev/null \
            | grep 'stored in'                          \
            | sed -r 's:.*(\.git/.*)\).*:\1:'           \
        )
        echo "$corrupted"
        rm -f "$corrupted"
    done
}

if [ -z "$1" ]  || [ ! -d "$1" ]; then
    echo "'$1' is not a directory. Please provide the directory of the git repo"
    exit 1
fi

pushd "$1" >/dev/null
fsck_rm_corrupted
popd >/dev/null

答案 6 :(得分:0)

我已经解决了这个问题,添加了一些更改,比如git add -A和git commit。

答案 7 :(得分:0)

Daniel Fanjul 的解决方案看起来很有希望。我能够找到那个 blob 文件并提取它(“git fsck --full --no-dangling”、“git cat-file -t {hash}”、“git show {hash} > file.tmp”)但是当我尝试使用“git hash-object -w file.tmp”更新包文件时,它显示了正确的哈希值,但错误仍然存​​在。

所以我决定尝试不同的方法。我可以简单地删除本地存储库并从远程下载所有内容,但是本地存储库中的某些分支提前 8 次提交,我不想丢失这些更改。由于那个很小的 ​​6kb mp3 文件,我决定完全删除它。我尝试了很多方法,但最好的方法来自这里:https://itextpdf.com/en/blog/technical-notes/how-completely-remove-file-git-repository

我通过运行这个命令“git rev-list --objects --all | grep {hash}”得到了文件名。然后我做了一个备份(强烈建议这样做,因为我失败了3次)然后运行命令:

"java -jar bfg.jar --delete-files {filename} --no-blob-protection ."

你可以从这里获得 bfg.jar 文件 https://rtyley.github.io/bfg-repo-cleaner/ 所以根据文档我接下来应该运行这个命令:

"git reflog expire --expire=now --all && git gc --prune=now --aggressive"

当我这样做时,我在最后一步出错。所以我从备份中恢复了所有内容,这一次,在删除文件后,我检出到分支(这是导致该错误的原因),然后检出回主,并且只有在一个接一个地运行命令之后:

"git reflog expire --expire=now --all" "git gc --prune=now --aggressive"

然后我将我的文件添加回它的位置并提交。但是,由于许多本地提交已更改,因此我无法将任何内容推送到服务器。所以我备份了服务器上的所有内容(以防我搞砸了),检查受影响的分支并运行命令“git push --force”。

我从这个案例中了解到了什么? GIT 很棒但很敏感...我应该有一个选项可以忽略一个... 6kb 文件我知道我在做什么。我不知道为什么“git hash-object -w”也不起作用=(经验教训,推送所有提交,不要等待,不时备份存储库。我也知道如何从存储库中删除文件,如果我永远需要 =)

我希望这可以节省某人的时间