用于（转）神经网络计算的CPU与GPU

Question

我是AI的学生，他今年将与pylearn和Theano（我也可能尝试火炬和咖啡）合作实施神经网络，我即将为此买一台笔记本电脑。 我希望根据您对此事的经验给予您帮助。

我的预算不多，所以我承受不起。我有两三个简单的问题：

哪种图书馆最受支持，例如theano，torch，caffe： ATI 或 NVIDIA ？ 有没有人在 Geforce 740M 820M 840M 这样的东西上尝试GPU计算？它比CPU更好吗？或者如果我买不起巨大的GPU，那么购买一台带有 i7 的笔记本电脑而不是这些（廉价）的卡片会更好吗？

感谢您的时间，

Answer 1

因此，在阅读您的回复和一些博客文章后，我的结论是： 不要试图让笔记本电脑成为深度学习的主要工作站！这太昂贵了：你只需花费数千美元购买笔记本电脑配置，这可能会花费数百美元用于桌面电脑。 便宜并不值得。

我想我要买一台13英寸的笔记本电脑并开始构建一个强大的桌面，然后我会对它进行ssh访问。

这两个链接非常适合对GPU选择有一个很好的理解。

http://timdettmers.com/2017/04/09/which-gpu-for-deep-learning/

https://www.linkedin.com/pulse/20141013042457-89310056-which-gpu-to-use-for-deep-learning

谢谢大家！

Answer 2

至于你的第一个问题，我不了解这些用于实施NN的库。但是，如果您使用像octave / Matlab这样的东西，它们都有NN的库，它们利用CUDA来训练NN。 GPU与CPU ...... NN和机器学习的实现通常很大程度上基于向量/矩阵和矩阵运算，如乘法/加法等。说到矩阵运算，你不要三思而后行，你总是选择GPU。矩阵运算是单指令多数据操作，大量使用GPU。基本上，它是独立执行大量数据的相同操作（通常是一个简单的操作）。您不需要非常先进的GPU。我在旧的macbook上使用了320GTX，这已经足够了（我假设你是一名学生，并且将实施概念验证或学术项目，而不是行业级项目）。

Answer 3

机器学习操作通常简化为矩阵乘法。目前，矩阵矩阵乘法在GPU上比CPU非常有效，因为GPU具有比CPU更多的线程。此外，NVIDIA多年来一直支持CUDA工具包。该平台现已成熟。许多DL库（例如，Caffe，Theano，Torch，TensorFlow）正在利用对BLAS（基本线性代数子程序）和DNN（深度神经网络）库的CUDA支持。深度学习库开发人员不必花费大量时间来优化矩阵 - 矩阵乘法。

此外，似乎在某些操作（矩阵矩阵运算）中针对相同级别的GPU优化CPU代码非常困难（我们称之为 ninja 优化）。为了更好地了解其他人的经历，请参阅https://github.com/BVLC/caffe/pull/439的讨论。