仅优化Tensorflow中张量的某些元素

Question

我们假设我有一个这样的矩阵：

其中p，z是要优化的一些变量。这个矩阵应该参与一些沉重的代数诡计，最后我只想让p和z得到它们的新值。就是这样，矩阵/张量中的所有其他元素应该保持不变。

理想情况下，我想做这样的事情：

p = tf.get_variable('p', ())
z = tf.get_variable('z', ())
m = tf.constant(matrix)
m[0,1] = p
m[1,1] = 2 * p
m[1,2] = z
m[2,1] = z - p

不幸的是，在Tensorflow中，这种逐点操作似乎是不可能的。有解决方法吗？