Question

我之前在#git被问过这个问题，但由于其合理实质，我将在此处发布。我想在repo上运行filter-branch，使用python脚本修改（数千个）数百次提交的文件。我在repo目录中使用以下命令调用clean.py脚本：

git filter-branch -f --tree-filter '(cd ../cleaner/ && python clean.py --path=files/*/*/**)'

Clean.py 看起来像这样，会修改路径中的所有文件（例如files/*/*/**）：

from os import environ as environment
import argparse, yaml
import logging
from cleaner import Cleaner

parser = argparse.ArgumentParser()
parser.add_argument("--path", help="path to run cleaner on", type=str)
args = parser.parse_args()

# logging.basicConfig(level=logging.DEBUG)

with open("config.yml") as sets:
    config = yaml.load(sets)

path = args.path
if not path:
    path = config["cleaner"]["general_pattern"]

cleaner = Cleaner(config["cleaner"])

print "Cleaning path: " + str(path)
cleaner.clean(path, True)

运行命令后，输出到终端：

$ python deploy.py --verbose
INFO:root:Checked out master branch
INFO:root:Running command:
'git filter-branch -f --tree-filter '(cd C:/Users/Graeme/Documents/programming/clean-cdn/clean-jsdelivr/ && python clean.py --path=files/*/*/**)' -d "../tmp"' in ../jsdelivr
Rewrite 298ec3a2ca5877a25ebd40aeb815d7b5a5f33a7e (1/1535)
Cleaning path: files/*/*/**

C:\Program Files (x86)\git/libexec/git-core\git-filter-branch: line 343: ../commit: No such file or directory
C:\Program Files (x86)\git/libexec/git-core\git-filter-branch: line 346: ../map/298ec3a2ca5877a25ebd40aeb815d7b5a5f33a7e
: No such file or directory
could not write rewritten commit
rm: cannot remove `/c/Users/Graeme/Documents/programming/clean-cdn/tmp/revs': Permission denied
rm: cannot remove directory `/c/Users/Graeme/Documents/programming/clean-cdn/tmp': Directory not empty

python脚本成功执行并正确修改文件，但filter-branch没有完成修复提交。似乎有一个权限问题，但我没有＆＃39能够以提升的权限运行它。我尝试使用git v1.8和v1.9在win7，win8和ubuntu上运行filter-branch。
修改该脚本与Centros一样使用git1.7.1

目标是在files/*/*/**中的内容完成与数据库同步后减小CDNs仓库的大小（接近1GB）。
The source code of the project
Target repo for the rewrite

Answer 1

您遇到的权限问题很有趣 - 您是在repo的本地副本（即您可以完全访问文件系统的那个）上，还是在远程服务器上执行此操作？

阅读你的python代码，看起来你正试图删除超过.INI文件的特定大小的每个文件，我是否做到了这一点？

如果是这样的话，我可以问你是否考虑过The BFG Repo-Cleaner？显然，你通过编写自己的代码（我知道我有）可以学到很多关于Git的知识，但我认为BFG可能是为你的需求量身定做的 - 并且比任何基于git-filter-branch的方法都快。

在您的情况下，您可能希望使用如下命令运行它：

$ java -jar bfg.jar --strip-blobs-bigger-than 100K  my-repo.git

这将删除所有大于100K的blob，在最近的提交中不是。

我在jsdelivr回购中快速完成了此操作，并在the cleaned repo中将包装尺寸从284M减少到138M。 BFG清洁步骤不到5秒，后续git gc --prune=now --aggressive不到2分钟。

完全披露：我是BFG Repo-Cleaner的作者。

Answer 2

您不应cd到另一个目录，因为git-filter-branch script将使用相对路径来访问文件。

Answer 3

考虑使用BFG。它的使用速度更快，更简单。

Git tree-filter在提交时运行python脚本

3 个答案: