Question

我正在尝试使用PyBrain和Python的multiprocessing包在Python中训练神经网络。

这是我的代码（它训练一个简单的神经网络来学习XOR逻辑）。

import pybrain.tools.shortcuts as pybrain_tools
import pybrain.datasets
import pybrain.supervised.trainers.rprop as pybrain_rprop
import multiprocessing
import timeit


def init_XOR_dataset():
    dataset = pybrain.datasets.SupervisedDataSet(2, 1)
    dataset.addSample([0, 0], [0])
    dataset.addSample([0, 1], [1])
    dataset.addSample([1, 0], [1])
    dataset.addSample([1, 1], [0])
    return dataset


def standard_train():
    net = pybrain_tools.buildNetwork(2, 2, 1)
    net.randomize()
    trainer = pybrain_rprop.RPropMinusTrainer(net, dataset=init_XOR_dataset())
    trainer.trainEpochs(50)


def multithreaded_train(threads=8):
    nets = []
    trainers = []
    processes = []
    data = init_XOR_dataset()

    for n in range(threads):
        nets.append(pybrain_tools.buildNetwork(2, 2, 1))
        nets[n].randomize()
        trainers.append(pybrain_rprop.RPropMinusTrainer(nets[n], dataset=data))
        processes.append(multiprocessing.Process(target=trainers[n].trainEpochs(50)))
        processes[n].start()

    # Wait for all processes to finish
    for p in processes:
        p.join()


if __name__ == '__main__':
    threads = 4
    iterations = 16

    t1 = timeit.timeit("standard_train()",
                       setup="from __main__ import standard_train",
                       number=iterations)
    tn = timeit.timeit("multithreaded_train({})".format(threads),
                       setup="from __main__ import multithreaded_train",
                       number=iterations)

    print "Execution time for single threaded training: {} seconds.".format(t1)
    print "Execution time for multi threaded training: {} seconds.".format(tn)

在我的代码中，有两个函数：一个运行单线程，一个（假设）使用多处理包运行多线程。

据我判断，我的多处理代码是合理的。但是当我运行它时，多处理代码不能在多个核心上运行。我通过检查运行时间来验证这一点（线程= 4和4个核心需要4倍的时间，而它应该花费大约与单线程运行一样长）。我仔细检查了htop / atop。

我知道Global Interpreter Lock (GIL)，但多处理包应该处理这个问题。

我也知道issue that scipy causes the cpu affinity to be set in such a way that only one core is used。但是，如果我在PyBrain包（print psutil.Process(os.getpid()).cpu_affinity()）中导入scipy之后打印进程关联，我可以看到关联是正常的：

$ python ./XOR_PyBrain.py
[0, 1, 2, 3]
Execution time for single threaded training: 14.2865240574 seconds.
Execution time for multi threaded training: 46.0955679417 seconds.

我在我的Debian NAS以及我的Debian桌面以及Mac上观察到这种行为。

Debian NAS的版本信息：

CPU：Intel（R）Atom（TM）CPU D2701 @ 2.13GHz
Debian 8.4。内核：3.2.68-1 + deb7u1 x86_64
Python 2.7.9
PyBrain 0.3
Scipy 0.14.0-2

所以，我的问题是：如何让PyBrain训练多核？

Answer 1

一切似乎都是现实的。我已经测试了你的代码，所有核心都在运行。时机问题来自于“当您尝试处理少量数据时，CPU内核无法实现其填充潜力。”

您构建的网络非常简单，因此在每个核心获得100％使用之前，该过程将结束。可以把它想象成你想要处理数百万个5x5像素的图像。计算机等待HDD获取数据的时间远远超过CPU处理数据的时间。

有些人在这里。但是在更快的区域（RAM）和更小的数据量（一个十进制数）。可能如果你的电脑有DDR4内存，情况就会发生变化。（但我真的不这么认为）

尝试更重的流程，更大的网络，更多的数据等，您将看到您的期望。

Python：使用PyBrain和多处理的多线程学习神经网络

1 个答案: