What is Training step time in machine learning?

Question

In the paper:

TensorFlow: A system for large-scale machine learning (Martín Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen...)

What does the term "step time" or "training step time" mean? Why not just use train time for simplicity?

paper screenshot (don't have enough reputation to post image directly)

Answer 1

在神经网络场景中，epoch可以定义为所有训练样例的单个前向传递和后向传递。我们不会立即将所有神经元都输入我们的网络。相反，我们选择一批神经元（小批量）并将它们喂入。我们处理一小部分训练数据向前和向后。我们这样做，所以我们可以执行随机梯度下降，并防止我们的网络过度拟合。个人训练步骤时间与总训练时间之间存在差异。例如，如果您的网络中有30个培训步骤，则总培训时间=完成所有30个培训步骤所需的时间。

setInterval

请查看以下表格的参考文献[15]：

[15] S. Chintala. convnet-benchmarks, github.com/soumith/convnet-benchmarks.

对于AlexNet，caffe训练步骤时间为324毫秒。 总时间=前进+后退= 121 + 203