并行执行“git submodule foreach”

时间:2018-04-24 10:27:04

标签: git parallel-processing git-submodules

有没有办法并行执行git submodule foreach命令,类似于--jobs 8参数如何与git submodule update一起使用?

例如,我们处理的项目之一涉及近200个子组件(子模块),我们大量使用foreach命令对它们进行操作。我想加快它们的速度。

PS:如果解决方案涉及脚本,我在Windows上工作,大部分时间都使用git-bash。

1 个答案:

答案 0 :(得分:4)

我建议您使用基于Python等解释性语言多平台的解决方案。


处理启动器

首先,您需要定义一个类来管理启动命令的过程。

class PFSProcess(object):
    def __init__(self, submodule, path, cmd):
        self.__submodule = submodule
        self.__path = path
        self.__cmd = cmd
        self.__output = None
        self.__p = None

    def run(self):
        self.__output = "\n\n" + self.__submodule + "\n"
        self.__p = subprocess.Popen(self.__cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True,
                             cwd=os.path.join(self.__path, self.__submodule))
        self.__output += self.__p.communicate()[0].decode('utf-8')
        if self.__p.communicate()[1]:
            self.__output += self.__p.communicate()[1].decode('utf-8')
        print(self.__output)


多线程

下一步是生成多线程执行。 Python在其核心中包含了非常强大的库,可以与Threads一起使用。您可以使用它导入以下包:

import threading

在创建线程之前,您需要创建一个worker,一个为每个线程调用的函数:

def worker(submodule_list, path, command):
    for submodule in submodule_list:
        PFSProcess(submodule, path, command).run()

如您所见,工作人员会重新获取子模块列表。为清楚起见并且因为它超出了我们的范围,我建议您查看.gitmodules,从中可以生成读取文件的子模块列表。


<提示>

作为基本方向,您可以在每个子模块中找到以下行:

path = relative_path/project

为此,您可以使用此正则表达式:

'path ?= ?([A-za-z0-9-_]+)(\/[A-za-z0-9-_]+)*([A-za-z0-9-_])'

如果正则表达式匹配,则可以在同一行中使用以下一个获取相对路径:

' ([A-za-z0-9-_]+)(\/[A-za-z0-9-_]+)*([A-za-z0-9-_])'

请注意,因为最后一个正则表达式返回第一个位置带有空格字符的相对路径。

< / Tip>


然后将子模块列表拆分为与所需作业一样多的块:

num_jobs = 8

i = 0
for submodule in submodules:
    submodule_list[i % num_jobs].append(submodule)
    i += 1

最后将每个块(作业)分派给每个线程,并等待所有线程完成:

for i in range(num_jobs):
    t = threading.Thread(target=worker, args=(list_submodule_list[i], self.args.path, self.args.command,))
    self.__threads.append(t)
    t.start()

for i in range(num_jobs):
    self.__threads[i].join()


显然我已经公开了基本概念,但您可以访问GitHub中对parallel_foreach_submodule (PFS)项目的完整实现。