为什么卷积网络的训练要比完全连接的网络慢得多

时间:2019-01-16 16:03:32

标签: python math keras neural-network conv-neural-network

这是我构建的卷积神经网络:

Convolutional Neural Network architecture

这是一个常规的人工神经网络,相比之下只有密集的层:

Fully Connected Neural Network

参数的数量相当。两者都用于对MNIST数据集中的手写数字进行分类(60.000个28x28数组)。不考虑我的计算能力,CNN的训练速度会慢一些。 ANN在60.000张图片上显示250个纪元:0:05 h CNN可以在30.000张图片上使用20个纪元:12:00小时

所以问题是为什么?我的猜测是,由于CNN的参数共享,参数的数量可能相似,但是卷积层的参数却被多次使用:

在28x28图像上的3x3内核->每个参数使用大约784次(相同的填充) 使用32个内核,将产生28x28x32的输出(在合并14x14x32之后)。因此,下一个卷积层的内核为3x3x32,因此此处每个参数将被使用约6.272次。

对整个培训过程有更多了解的人可以同意还是不同意我?或者您对该主题还有其他想法吗?

0 个答案:

没有答案