我可以使用hadoop来训练神经网络吗？

Question

我想在Hadoop的帮助下训练神经网络。我们知道，当训练神经网络时，每次迭代都会改变每个神经元的权重，每次迭代都取决于之前的迭代。我是Hadoop的新手，并不熟悉它提供的功能。我可以借助强调依赖性的方法addDependingJob()来链接迭代吗？或者在Hadoop的帮助下，可以使用其他技巧来实现NN。

任何建议都将受到高度赞赏。

谢谢和最诚挚的问候。

Answer 1

你可以自己写。如果您知道如何从头开始在单核中编写Bacvk传播。它可以很容易地迁移到Mapreduce方法。 HDFS缓存应该存储当前的神经元权重，并且每个地图作业应该在训练实例上评估它们的更新，然后减少应该总结所有这些更新并将它们放入cachce。