Question

我正在尝试构建一个处理Tensorflow中3D数据的LSTM RNN。从this论文，网格LSTM RNN可以是n维的。我的网络的想法是拥有3D卷[depth, x, y]，网络应该是[depth, x, y, n_hidden]，其中n_hidden是LSTM小区递归调用的数量。我们的想法是每个像素都有自己的LSTM递归调用“字符串”。

输出应为[depth, x, y, n_classes]。我正在做二进制分割 - 想想前景和背景，所以类的数量只有2。

# Network Parameters
n_depth = 5
n_input_x = 200 # MNIST data input (img shape: 28*28)
n_input_y = 200
n_hidden = 128 # hidden layer num of features
n_classes = 2

# tf Graph input
x = tf.placeholder("float", [None, n_depth, n_input_x, n_input_y])
y = tf.placeholder("float", [None, n_depth, n_input_x, n_input_y, n_classes])

# Define weights
weights = {}
biases = {}

# Initialize weights
for i in xrange(n_depth * n_input_x * n_input_y):
    weights[i] = tf.Variable(tf.random_normal([n_hidden, n_classes]))
    biases[i] = tf.Variable(tf.random_normal([n_classes]))

def RNN(x, weights, biases):

    # Prepare data shape to match `rnn` function requirements
    # Current data input shape: (batch_size, n_input_y, n_input_x)
    # Permuting batch_size and n_input_y
    x = tf.reshape(x, [-1, n_input_y, n_depth * n_input_x])
    x = tf.transpose(x, [1, 0, 2])
    # Reshaping to (n_input_y*batch_size, n_input_x)

    x =  tf.reshape(x, [-1, n_input_x * n_depth])

    # Split to get a list of 'n_input_y' tensors of shape (batch_size, n_hidden)
    # This input shape is required by `rnn` function
    x = tf.split(0, n_depth * n_input_x * n_input_y, x)

    # Define a lstm cell with tensorflow
    lstm_cell = grid_rnn_cell.GridRNNCell(n_hidden, input_dims=[n_depth, n_input_x, n_input_y])
    # lstm_cell = rnn_cell.MultiRNNCell([lstm_cell] * 12, state_is_tuple=True)
    # lstm_cell = rnn_cell.DropoutWrapper(lstm_cell, output_keep_prob=0.8)
    outputs, states = rnn.rnn(lstm_cell, x, dtype=tf.float32)
    # Linear activation, using rnn inner loop last output
    # pdb.set_trace()

    output = []
    for i in xrange(n_depth * n_input_x * n_input_y):
        #I'll need to do some sort of reshape here on outputs[i]
        output.append(tf.matmul(outputs[i], weights[i]) + biases[i])

    return output


pred = RNN(x, weights, biases)
pred = tf.transpose(tf.pack(pred),[1,0,2])
pred = tf.reshape(pred, [-1, n_depth, n_input_x, n_input_y, n_classes])
# pdb.set_trace()
temp_pred = tf.reshape(pred, [-1, n_classes])
n_input_y = tf.reshape(y, [-1, n_classes])

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(temp_pred, n_input_y))

目前我收到错误：TypeError: unsupported operand type(s) for +: 'int' and 'NoneType'

它发生在RNN初始化之后：outputs, states = rnn.rnn(lstm_cell, x, dtype=tf.float32)

x当然是float32

类型

我无法告诉GridRNNCell返回什么类型，这里有任何帮助吗？这可能是个问题。我应该为此定义更多参数吗？ input_dims有道理，但output_dims应该是什么？

这是contrib代码中的错误吗？

GridRNNCell位于contrib / grid_rnn / python / ops / grid_rnn_cell.py

Answer 1

我不确定代码的某些实现决策，所以我决定推出自己的代码。要记住的一件事是，这只是单元格的实现。由您来构建处理h和m向量的位置和交互的实际机制并不像传入数据那样简单并期望它正确地遍历维度。

因此，例如，如果您在两个维度中工作，从左上方的块开始，获取传入的x和y向量，将它们连接在一起，然后使用您的单元格来计算输出（包括两个x的输出向量）和y）;并且由您来存储输出以供稍后在相邻块中使用。将这些输出分别传递给每个相应的维度，并在每个相邻的块中，连接输入的矢量（同样，对于每个维度）并计算相邻块的输出。为此，您需要两个for循环，每个维度一个。

也许contrib中的版本可以用于此，但是我遇到了一些问题（我可能在这里错了，但据我所知）： 1）使用concat和slice而不是使用元组来处理向量。这可能会导致性能下降。 2）看起来输入是在每一步投射，这对我来说并不合适。在论文中，它们只投射到网络中，用于沿网格边缘传入的块，而不是整个网格。

如果查看代码，实际上非常简单。也许阅读论文并根据需要对代码进行调整，或者自己动手编写也是最好的选择。请记住，单元格只适用于在每一步执行重复，而不是用于管理传入和传出的h和m向量。

Answer 2

您正在使用哪个版本的Grid LSTM单元？

如果您使用https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/rnn/python/ops/rnn_cell.py

我认为您可以尝试初始化＆＃39; feature_size＆＃39;和＆＃39; frequency_skip＆＃39;。另外，我认为可能存在另一个错误。将动态形状输入此版本可能会导致TypeError

Answer 3

是的，动态形状是原因。有一个公关来解决这个问题：https://github.com/tensorflow/tensorflow/pull/4631

@ jstaker7：谢谢你试试看。回覆。问题1，上面的PR使用元组表示状态和输出，希望它可以解决性能问题。 <picture class="backgroundContainer"> <source srcset="assets/water_bg_1024.jpg" media="(min-width: 0px) and (max-width:1024px)"> <source srcset="assets/water_bg_1920.jpg" media="(min-width: 1025px) and (max-width: 1920px)"> <source srcset="assets/water_bg_2560.jpg" media="(min-width: 1921px)"> <img class="backgroundImage" onload="imageLoaded(this)" src="assets/water_bg_1920.jpg" alt=""> </picture>是在前一段时间创建的，当时Tensorflow中的所有GridRNNCell都使用了concat / slice而不是元组。

重新。问题2，如果您传递LSTMCell，GridRNNCell将不会投射输入。维度可以是 input 和 recurrent ，当没有输入（None）时，它将使用递归张量进行计算。我们还可以使用2个输入维度，直接实例化inputs = None。

当然，为所有情况编写泛型类会使代码看起来有点复杂，我认为它需要更好的文档。

无论如何，如果你可以分享你的改进，或任何想法，你可能必须使它更清晰/更有用，这将是伟大的。无论如何，这是一个开源项目的本质。

Tensorflow网格LSTM RNN TypeError

3 个答案: