参数共享如何在高效神经架构搜索（ENAS）中工作

Question

ENAS implementation here

我正在尝试了解参数共享在ENAS中的工作原理。前两个问题部分地回答了第三个主要问题。

1. 在宏搜索期间，是否所有节点仅使用ONCE？
2. 对于宏搜索，所有节点是否肯定会链接到其上一个节点？
3. 参数如何共享？每个操作都有自己的权重，在调用时总是加载吗？如果是这种情况，那么在训练期间更新和记忆哪个权重，假设使用相同操作的多个实例。或者每个唯一连接是否有权重，例如节点1到节点3（W13）具有一个权重集，节点2到节点3（W23）具有另一个权重集。如果是这样，那么当有跳过连接时它是如何处理的情况（例如，节点1和节点2连接在一起，然后传递给节点3.它是否有W12-3？）？

Answer 1

我已经完成了很多次代码，所以我想我会自己回答这些问题，以防将来有人看到这个。

1. 不，它们可以多次出现。
2. 是
3. 存储每个层中所有可能节点的权重，在初始化新网络时从中提取权重。