设置批量大小*和*神经网络的训练迭代次数?

时间:2018-02-22 10:26:17

标签: neural-network doc2vec knime

我正在使用KNIME Doc2Vec Learner节点来构建Word嵌入。我知道Doc2Vec是如何工作的。在KNIME中,我可以选择设置参数

  • 批量大小:每批次使用的字数。
  • 时代数:训练的时代数。
  • 培训迭代次数:每批次的更新次数。

来自神经网络我知道(懒惰地从https://stats.stackexchange.com/questions/153531/what-is-batch-size-in-neural-network复制):

  • 一个纪元 =一个向前传递和一个向后传递所有训练示例
  • 批量大小 =一次前进/后退传递中的训练示例数。批量大小越大,您需要的内存空间就越大。
  • 迭代次数 =次数,每次使用[批量大小]数量的示例。需要说明的是,一次传球=一次前传+一次后传(我们不计算前传和后传两种不同的传球)。

据我所知,设置批量大小迭代没有多大意义,因为一个是由另一个决定的(给定数据大小,由环境给出)。那么为什么我可以改变这两个参数呢?

1 个答案:

答案 0 :(得分:0)

不一定是这种情况。你也可以训练半个时代"。例如,在Google的inceptionV3预训练脚本中,您通常会同时设置迭代次数批量大小。这可能导致部分时期"这可能没问题。

如果是一个好主意或不训练半个时代可能取决于您的数据。关于此问题有thread但不是结论性答案。

我不熟悉KNIME Doc2Vec,所以我不确定那里的含义是否有所不同。但是根据您给出的定义批量大小+迭代的定义似乎很好。同时设置时期数可能会导致冲突,但会导致数字不能合理组合。