我是否正确地说神经网络善于为问题找到“足够好”的解决方案？
我在想这是因为他们没有为给定的输入提供二进制输出，但是概率，例如0.67可能是输出。
我也在猜测，因为它们经常被用于概括，他们擅长找到经常解决问题的解决方案，但在极少数情况下不会。
谢谢！
答案 0 :(得分：11)
这是一个非常广泛的问题。通常，具有一个隐藏层，非线性激活函数和足够数量的隐藏神经元的神经网络能够以任意精度逼近任何函数。但是，误差函数不是凸的，因此训练的结果取决于初始化。
SVM也能够逼近任何函数。它们非常受欢迎，因为优化问题有一个独特的解决方案，可能还有其他一些原因。但是最近的研究表明，神经网络，如多层感知器，卷积神经网络，深度信念神经网络，多列深度神经网络等，对于具有大量数据的复杂应用来说效率更高，效果更好。所以它总是一个权衡，因为LiKao说（没有免费的午餐定理），没有分类器是“完美的”。
这篇论文描述了深度网络与“浅网络”（包括支持向量机）相比的优势：http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf
以下是标准基准和不同学习算法的比较：http://yann.lecun.com/exdb/mnist/
这篇论文描述了一种新型神经网络，它特别擅长解决一些视觉问题（交通标志识别，ocr）：http://arxiv.org/abs/1202.2745
答案 1 :(得分：10)
这个问题没有简单的答案。神经网络的优点/缺点是一个非常复杂的主题。以下是一些提示：
没有免费午餐定理：粗略地说，这个定理证明没有“完美”的机器学习方法。对于某个方法是好的每个问题，还有另一个问题，相同的方法将会失败。然而，它失败的方法可以很容易地通过其他方法解决。在进行任何机器学习时，应始终考虑这一点。
神经网络的实现非常简单（对于SVN的例子，你不需要一个好的线性代数求解器）。
神经网络的VC维度尚不清楚。当您想要考虑解决方案的优秀程度时，这非常重要。
神经网络无法重新训练。如果您稍后添加数据，则几乎无法添加到现有网络。
神经网络通常表现出类似于人类展示的模式。然而，这对认知科学比对实际例子更感兴趣。
处理神经网络中的时间序列数据是一个非常复杂的主题。
这就是我现在所能想到的。也许其他人可以增加更多。