如何将多线程应用于反向传播神经网络训练？

Question

对于我的大学项目，我正在创建一个神经网络，可以对信用卡交易是否具有欺诈性的可能性进行分类。我正在接受反向传播训练。我用Java写这个。我想应用多线程，因为我的电脑是四核i7。这让我花了几个小时的训练，看到我的大部分核心闲置。

但是我如何将多线程应用于反向传播？ Backprop通过网络向后调整错误来工作。必须先完成一层，然后才能继续。有什么方法可以修改我的程序来做多核背景吗？

Answer 1

首先不要使用反向传播。还有很多其他选择。我建议尝试RPROP（弹性传播）。对你的反向传播算法来说，这不会有太大的修改。您无需指定学习率或动力。它几乎就像你对神经网络中的每个连接都有一个单独的，可变的学习率。

关于将多线程应用于反向传播。我刚刚写了一篇关于这个主题的文章。

http://www.heatonresearch.com/encog/mprop/compare.html

基本上我创建了许多线程并将训练数据分开，因此每个线程的数量几乎相等。我正在计算每个线程中的渐变，并在reduce步骤中求和。梯度如何应用于权重取决于所使用的传播训练算法，但权重更新是在关键部分完成的。

如果训练样本的数量远远超过权重，则代码在多线程渐变计算中花费的时间比临界区域权重更新要多得多。

我在上面的链接中提供了一些性能结果。它确实加快了速度！

Answer 2

要在Java中使用更多CPU内核，您可以在不更改代码的情况下为JVM尝试更多选项：

• -server
• -d64
• -XX：-UseParallelGC

以及http://java.sun.com/javase/technologies/hotspot/vmoptions.jsp

的其他选项