神经体系结构搜索的输出是什么？

Question

训练后，神经体系结构搜索的输出应该是什么？

是培训期间最好的模型还是模型产生的最新架构？

Answer 1

这取决于您使用的方法。通常，这些方法会在某些时期搜索架构，最后您从头开始训练找到的架构。主要的体系结构搜索算法搜索单元，因为遍历整个体系结构过于昂贵（计算上）。单元是架构的动态部分，而其余部分则是静态的主干。 NAS（神经体系结构搜索）搜索单元并替换整个体系结构。通常，NAS搜索2种普通单元，以保持输出通道与输入通道相同，并减少单元以减小输入通道的大小。在这里，您可以看到最受欢迎的方法https://arxiv.org/abs/1808.05377。