使用GOOGLE COLAB TPU在IMAGENET上训练VGG-16模型需要多长时间？

Question

很好奇，使用GOOGLE COLAB TPU在IMAGENET上训练VGG16模型需要多长时间？如果有人可以向我解释他们为获得答案所做的计算，那将是很棒的！

Answer 1

这是官方的TPU example。在具有 2990 个训练图像的优化 tfrecord 数据集上训练 VGG-16，IMAGE_SIZE = [331, 331], batch_size=128, 12 epochs 需要 2 分钟 15 秒。我认为 1,281,167 ImageNet images 的训练需要 approximately 15 hours。

Answer 2

很难准确估计训练模型e2e所需的时间。但是假设您只是在寻找一个非常粗略的估计，我们可以从注意到我们拥有的{code）这个ResNet50实现开始，在大约7.3个小时内达到收敛（76％+ top1精度在90个时元上训练）在v2-8 TPU设备上。鉴于VGG16在步进时间（https://github.com/jcjohnson/cnn-benchmarks#cnn-benchmarks）中足够接近，我希望它的收敛性也与之成正比。但是，免责声明这是一个非常粗略的估计，实际性能还取决于实现的优化程度。