将存储库从Github迁移到自托管Gitlab时更新和修复LFS

时间:2017-11-28 09:55:20

标签: git bash github gitlab

对于我的公司,我必须将所有公司存储库从Github迁移到我们自己托管的Gitlab-Server。

我遇到的主要问题是我们对大多数存储库使用Git-LFS

因此,在克隆存储库时,我必须通过运行

来修复Git-LFS
git lfs fetch --all
git lfs push remoteOnGitlab

我正在写一个脚本 - 因为它有很多存储库 - 使用Github API来处理我们所有存储库的列表:

#!/bin/bash

###_Adjust those_#######################################################
githubUrlStart="https://"
githubLink="github.com/<orgaName>"
githubApiLink="api.github.com/orgs/<orgaName>/repos"

# maxRepoCount is needed if the organisation has more than 30 repos
# otherwise only the first 30 repos would be mirrored
maxRepoCount="200"

gitlabUrlStart="http://"
gitlabLink="<gitlabURL>/<groupName>"
########################################################################


###_Get Sensible Data at runtime_###
bold=$(tput bold)
normal=$(tput sgr0)

echo -n "${bold}Github Username: ${normal}"
read -e githubName
echo -n "${bold}Github Password: ${normal}"
read -e -s githubPassword
echo ""
echo -n "${bold}Gitlab Username: ${normal}"
read -e gitlabName
echo -n "${bold}Gitlab Password: ${normal}"
read -e -s gitlabPassword

###_Add folder for cloned git repos_###
mkdir gits

###_GET JSON of all REPOS from the Github API_###
# writes output to file test for later use
curl "$githubUrlStart${githubName//\"}:${githubPassword//\"}@${githubApiLink//\"}?per_page=${maxRepoCount//\"}" > test 

###_Get URLS and NAME_###
#  -> http://xmodulo.com/how-to-parse-json-string-via-command-line-on-linux.html #
NAMES=$(cat test | jq ".[] | .name");

###_Transform into Array_###
NAMES_ARRAY=()

COUNT=0
for name in $NAMES
do
    NAMES_ARRAY[$COUNT]=$name

    COUNT=$((COUNT+1))
done


###_Clone each repo local and use it to repair git lfs_###                                                                                            
COUNT=0                                                                                       
for reponame in "${NAMES_ARRAY[@]}"                                                           
do                                                                                            
    ###_Build full link for cloning_###
    fulllink="$githubUrlStart$githubName:$githubPassword@$githubLink/${reponame//\"}"     

    ###_Clone from github using git lfs_###
    git lfs clone "${fulllink//\"}" "gits/${reponame//\"}"

    ###_Enter folder of cloned repository_###                                                   
    cd "gits/${reponame//\"}"

    ###_repair git lfs_###
    # get lfs from github
    git lfs fetch --all

    # add the remote for gitlab
    gitlabRemote="$gitlabUrlStart$gitlabName:$gitlabPassword@$gitlabLink/${reponame//\"}.git" 
    git remote add gitlab "${gitlabRemote//\"}"

    # Just for security remove the github remote                                                  
    git remote remove origin                                                                  

    # Push lfs to the gitlab remote
    git lfs push gitlab --all                                                                 

    ##_leave folder!_##                                                                       
    cd ../..          #                                                                       

    ##_remove folder to save disk space_##                                                    
    rm -rf gits/${reponame//\"}

    COUNT=$((COUNT+1))
done

###_Remove the gits folder_####
rm -rf gits

我的问题在这里:
它似乎只运行一次,但如果我再次运行脚本,则存储库不会更新到最新状态。另外我不确定,但我猜它到目前为止只适用于主分支。

我还需要改变什么才能在gitlab上同时从github获取git repo的最新状态?(运行之后我还有2个月之前在Gitlab上的状态...)

替代

我还看到了另一个解决方案here,显然可以处理多分支问题:

git clone --mirror path/to/original path/to/dest/.git
cd path/to/dest
git config --bool core.bare false
git checkout anybranch

我可能也可以与

结合使用
git push --mirrow path/to/otherRemote

如评论中所述。

这样做会更简单..但是:
这是否与LFS兼容?让我们说,例如如

git lfs clone --mirrow /originOnGithub /localFolder
cd /localFolder
git lfs fetch --all
git lfs push --mirrow /remoteOnGitlab

1 个答案:

答案 0 :(得分:2)

答案是:是的!

但我有一个非常愚蠢的错字:当然是 --mirror 而不是--mirrow

所以现在每个项目都要运行

git lfs clone --mirror /originOnGithub /localFolder
cd /localFolder
git lfs fetch --all
git lfs push --mirror /remoteOnGitlab

并修复LFS文件 AND 更新Gitlab-Server上存储库中的所有分支。