我正在训练一个完全卷积的神经网络,有3080 * 16个输入图像用于训练,一批拍摄16张图像。我这样做是为了100个时代。
in every epoch:
after each batch:
calculate errors, do weight update, get confusion matrix
after each validation_batch
calculate errors and confusion matrix
我试图尽可能地给出最大批量。
答案 0 :(得分:0)
在这种情况下(当时期数固定时) - 您需要在更新次数和更新质量之间进行权衡。您更频繁地更新网络(批次越小) - 您可能获得的网络越好(假设您正在使用正确的正规化和婴儿坐位)。您获得的实际更新参数的更好近似值(批量大小更大) - 您的网络可能越快收敛到质量解决方案,省略实际可能使您的模型恶化的更改。
设置批量大小的最佳方法是研究是否有人已经找到了您的任务的最佳批量大小或网格/随机搜索元优化 - 您可以在其中设置合理的批量大小值并测试每个选项为了找到最好的价值。