是" epoch"对HMM和神经网络有不同的含义?

时间:2017-05-18 12:33:43

标签: neural-network speech-recognition training-data hidden-markov-models

我正在使用隐藏马尔可夫模型使用N样本句子构建语音到文本系统进行重新估计。在神经网络的背景下,我理解 epoch 的概念是指完整的训练周期。我认为这意味着"将相同的数据提供给相同的,更新的网络,每次都有不同的权重和偏差。 - 如果我错了,请纠正我。

从相同的句子执行HMM的重新估计(即训练)时,相同的逻辑是否有效?换句话说,如果我有N个句子,我可以重复输入样本10次,以生成10 * N个样本。这是否意味着我在HMM上执行 10 epochs ?此外,这实际上有助于获得更好的结果吗?

this论文中,我得到的印象是,HMMs背景下的时代指的是一个时间单位:

  

计数表示生成的特定于设备的数字量   通过加速度计获得特定时间单位(时期)(例如1至60)   秒)。

如果不是时间单位, epoch 至少听起来不同。最后,我想知道:

  • HMM背景下的 epoch 是什么?
  • 它有什么不同 神经网络中的 epoch
  • 考虑到纪元的定义为训练周期,多个纪元会改善重新估计 HMMs?

1 个答案:

答案 0 :(得分:1)

  

HMM背景下的时代是什么?

与神经网络相同,处理整个数据集。

  

它与神经网络中的时代有什么不同?

除了“epoch”这个术语并没有广泛用于HMM之外没有任何差异。人们只称它为“迭代”。

  

从这篇论文中,我得到的印象是,HMMs语境中的时代指的是一个时间单位

本文中的“大纪元”根本与HMM背景无关,它是一篇独立于该论文的想法,你不应该从论文中概括术语用法。

  

考虑到将纪元定义为训练周期,多个时期会改善对HMM的重新估计吗?

没有诸如多个时期之类的东西改善了对神经网络和HMM的重新估计。每个时期都会提高到某一点的准确度,然后发生过度训练,验证错误开始增加,训练误差持续为零。通常,取决于模型架构,存在最佳迭代次数。 HMM模型通常具有较少的参数并且不易于过度训练,因此额外的时期并不是那么有害。尽管如此,还是有许多需要以最佳方式执行的时代。

在语音识别中,通常是Baum-Welch算法的6-7次迭代。较少的时代会给你不太准确的模型,更多的时代可能导致过度训练或者根本不改善任何事物。