如何将张量板的可学习参数分组？

Question

我通常在tensorflow中以以下方式构造我的可学习参数：

learnable_weights = {
  'w1': tf.get_variable(...),
  ...
  'wn': tf.get_variable(...),
} 

learnable_biases = {
  'bc1': tf.get_variable(...),
  ...
  'bd3': tf.get_variable(...)
}

我最近开始遇到的问题是张量板图拥挤，在辅助节点中有很多权重（这是一个大图的一部分，并且这些节点的数量要大得多）：

我尝试将它们与tf.name_scope分组。像这样：

with tf.name_scope('learnable_params'):
  learnable_weights = {...}
  learnable_biases = {...}

但这对张量板中的图形没有影响。

为什么或更好的建议如何对可学习参数进行分组以使它们不会使张量板变得混乱？

Answer 1

您可以尝试使用variable_scope代替name_scope。通过get_variable创建的AFAIK变量会忽略name_scope，如果这同样适用于Tensorboard中的图形组织，我也不会感到惊讶。我只使用variable_scope来包装任何会创建变量的东西，而我从未遇到过“无组织”变量的问题。