如何在多GPU Tensorflow培训中找到准确性？

Question

当我们在Tensorflow多GPU环境中进行培训时，我们如何找到测试准确性并在培训损失旁边的终端中显示它们？ 1.我们能在单GPU上找到测试精度吗？ 2.我们是否应该在所有可用的GPU上找到测试准确度，然后计算平均值？

Answer 1

您必须平均所有GPU的准确度，这将为您提供整体准确性。假设您在4个GPU的每个上有64个样本，批量大小为256（= 4 * 64）。如果50,48,56,52分别准确标记在每个中，那么您的整体准确度为50 + 48 + 56 + 52 = 206/256 = 80.47％。

有时候，当你想要计算一些比精度更复杂的东西时，你可能会认为一个GPU的结果是一个很好的近似值，并且省去了从所有GPU获取所有值的麻烦。为了使其有效，必须满足两个条件：

1. 应该将批处理随机分配给每个GPU，通常它们会为此目的进行洗牌。
2. 批量应足够大，每个GPU至少可以获得32个样本。