我使用multiprocessing.Pool
来并行化我正在运行的程序的各个部分。我循环数据,计算一些东西,然后返回结果。
代码效果不佳:
def likelihood_data(self, data):
func = partial(likelihood, means=self.means, stddevs=self.stddevs, c_ks=self.c_k)
if len(data) > 100:
pool = Pool(10)
try:
likelihoods = pool.map(func, data)
finally:
pool.close()
pool.join()
else:
likelihoods = []
for sample in data:
likelihoods.append(self.likelihood(sample))
return np.mean(likelihoods)
def likelihood(sample, means, stddevs, c_ks): # is outside of class
likel = []
for c_k, m, s in zip(c_ks, means, stddevs):
likel.append(likel_bound(np.log(c_k) + np.sum(logg(sample, m, s))))
return np.sum(np.exp(likel))
从使用cProfile开始,糟糕的表现来自{method 'acquire' of '_thread.lock' objects}
花费的大部分时间。我不明白为什么每个过程彼此独立时都会发生这种情况。这里发生了什么?
编辑:或者它只是花费最长时间,因为它等待所有进程完成?
答案 0 :(得分:0)
我的错误是我在太少的数据上使用多处理。正如我多次调用likelihood_data
一样,所有时间都花在启动和停止多处理上而没有任何实际收益。