可以在张量流训练期间更改网络架构吗？

Question

我想在训练期间更改卷积层的通道尺寸，但是在测试中，请始终保持相同的尺寸。 我试图在tensorflow中实现它，但失败了。 如果在训练期间输出尺寸发生更改，则会发生错误，因为张量流无法识别更改后的图形。 张量流不实现这些功能吗？ 如果没有，还有其他方法可以实现此功能吗？

Answer 1

您无法即时更改卷积层的通道数，因为从本质上讲，这相当于拥有结构不同，权重数不同的新网络。

卷积权重由形状为A的矩阵(k, k, cout, cin)表示，其中卷积为k x k内核，卷积为cin，输入通道为{ {1}}个输出通道。更改通道数将更改矩阵cout的形状。

您可以执行一些技巧来填充频道尺寸。另一个解决方案可能是让您的网络分支在合并之前（如果可能）需要一个可变的通道尺寸，但这会导致可学习的参数增加。