如何处理本文中JFT-300M等非常不平衡的数据集＆＃34;重新审视深度学习时代数据的不合理有效性＆＃34;？

Question

在本文中，＆＃34;重新审视深度学习时代的数据的不合理效果＆＃34;，作者使用名为 JFT-300M 的新数据来探索大数据的影响深度学习。作者描述的数据集有很长的尾巴，事实上，尾部很重，有超过3K类别，每个类别少于100个图像，大约2K类别，每个类别少于20个图像。结论：我们的数据有很长的尾巴，但表示学习似乎有效。 这种长尾似乎并没有对此产生不利影响 ConvNets的随机训练（训练仍然收敛）。我想知道背后的原因，或者作者使用其他技术？

Answer 1

通常有很多方法，我认为合适的data augmentation总是一个好主意。

此外，关于2000多个课程，您可能会发现hierarchical softmax想法很有用。