对NAS中的超参数搜索和网络体系结构搜索感到困惑

Question

我想了解自动神经体系结构搜索（NAS）。我已经读了多篇论文，但是我无法弄清楚NAS的实际搜索空间是什么/如何在NAS中考虑经典的超参数？

我的理解：

• NAS的目标是使用某种搜索和性能估计策略在所有可能的模型架构的搜索空间中找到性能良好的模型。
• 存在特定于架构的超参数（在最简单的前馈网络情况下），例如隐藏层数，每层隐藏神经元数以及每个神经元的激活功能类型
• 有经典的超参数，例如学习率，辍学率等。

我不明白的是：

• 上面定义的模型体系结构到底是什么？它是仅特定于体系结构的超参数还是经典的超参数？换句话说，是什么跨越了NAS的搜索空间：仅架构特定的超参数还是经典的超参数？

• 如果仅特定于架构的超参数是NAS搜索空间的一部分，那么经典超参数又如何呢？特定架构（具有特定于架构的超参数的固定配置）的性能可能会有所不同，具体取决于经典超参数-因此，如果不考虑NAS搜索空间中的经典超参数，可能会导致非最优的最终模型架构？