backprops的数量作为神经网络的性能指标

时间:2018-01-08 04:39:27

标签: machine-learning neural-network metrics backpropagation mini-batch

我一直在阅读关于SRCNN的文章,并发现他们正在使用“backprops数”来评估网络的运行情况,即x backprops之后能够学习的网络(据我所知)。我想知道backprops的实际含义是多少。这只是培训期间使用的培训数据样本数量吗?或者可能是迷你批次的数量?也许这是之前的数字乘以网络中可学习参数的数量?还是完全不同的东西?也许有一些其他更常见的名称,我可以在某处循环并阅读更多关于它,因为我无法通过搜索“backprops的数量”或“反向传播的数量”找到任何有用的东西?

奖金问题:此指标的使用范围有多广,有多好?

2 个答案:

答案 0 :(得分:1)

  

我从2016年开始阅读他们的论文:

  • 作者= {C。 Dong和C. C. Loy和K. He和X. Tang},
  • journal = {IEEE模式分析和机器智能交易},
  • title = {使用深度卷积网络的图像超分辨率},

由于他们甚至没有提到批次,我认为他们正在进行反向传播,以便在每个样本/图像后更新其权重。

换句话说,他们的批量大小(mini-batchsize)等于1个样本。

所以反向传播的数量毕竟意味着批量,这是一个非常常见的指标,即。在纸质PSNR(损失)中批量(或通常为loss over epochs)。

奖金问题:我得出结论他们只是没有坚持机器学习或深度学习的共同词库。

BonusBonus问题:他们使用n批次后的损失度量来展示不同网络架构可以在不同大小的trainigdatasets上学到多少。

答案 1 :(得分:0)

我认为它意味着在反向传播n次后网络已经学到了多少。它更可能与“经过n个样本训练后......”相互替换。

如果他们使用循环网络,这可能有点不同,因为他们可以在前向道具中运行更多样本,然后在后向运行中运行。 (无论出于何种原因,我无法获得加载纸张的链接,因此不确定)。

根据您的问题数量,我认为您可能会过度思考这个问题:)

backprops的数量不是常用的度量标准。也许他们在这里使用它来展示基于他们正在使用的任何优化方法的训练速度。但对于大多数常见情况,它不是一个相关的指标。