Question

我在Keras中构建了一个简单的LSTM模型，如下所示：

model = Sequential()
model.add(keras.layers.LSTM(hidden_nodes, input_dim=num_features, input_length=window, consume_less="mem"))
model.add(keras.layers.Dense(num_features, activation='sigmoid'))
optimizer = keras.optimizers.SGD(lr=learning_rate, decay=1e-6, momentum=0.9, nesterov=True)

当我在某些数据上应用模型时，我有这种特殊的行为：

橙色线表示预测值，蓝色线表示真实值。

正如您所看到的，网络会重复以前的值，但这不是我想要的。我有几个功能（不仅是图片中显示的功能），我希望网络考虑到与其他时间序列的依赖关系，而不是只查看单个的过去数据并重复以前的数据。

我希望问题足够清楚！

我的数据
我有36个时间序列（分类和数字数据）。我使用一个长度为W的窗口，然后重新调整数据，以便以Keras（num_samples，window，num_features）中所需的形式创建一个numpy向量。

编辑1
数据样本：

0.5, 0.1, 0.4, 1, 0,74
0.1, 0.1, 0.8, 0.9, 0,8
0.2, 0.3, 0.5, 1, 0,85

我有一个分类属性和两个数字属性。前三行是指分类行（分类的单热编码）。最后两个引用了两个数字属性。

我建立了培训和测试，如下所示：

所以我执行model.fit(T, X)。

我也尝试过使用较少数量的隐藏节点，但结果却是一样的。

编辑2
自定义损失函数考虑了数值和分类特征的使用：

def mixed_num_cat_loss_backend(y_true, y_pred, signals_splits):
    if isinstance(y_true, np.ndarray):
        y_true = keras.backend.variable( y_true )
    if isinstance(y_pred, np.ndarray):
        y_pred = keras.backend.variable( y_pred )

    y_true_mse = y_true[:,:signals_splits[0]] 
    y_pred_mse = y_pred[:,:signals_splits[0]]
    mse_loss_v = keras.backend.square(y_true_mse-y_pred_mse)

    categ_loss_v = [ keras.backend.categorical_crossentropy(
                         y_pred[:,signals_splits[i-1]:signals_splits[i]], 
                         y_true[:,signals_splits[i-1]:signals_splits[i]], 
                         from_logits=False) # force keras to normalize
                   for i in range(1,len(signals_splits)) ]

    losses_v = keras.backend.concatenate( [mse_loss_v, keras.backend.stack(categ_loss_v,1)], 1)

    return losses_v

我使用model.fit(T, X)来了解数字特征的位置（在矩阵中）。

这是通过从2D numpy数组开始准备数据的函数，如带有M，T，X的图片所示：

def prepare_training_data(data_matrix, boundaries, window = 5):

    num_rows, num_columns = data_matrix.shape
    effective_sizes = [max(0,(nrows - window)) for nrows in boundaries]
    total_training_rows = sum(effective_sizes)

    print " - Skipped dumps because smaller than window:", sum([z==0 for z in effective_sizes])

    # prepare target variables
    T = data_matrix[window:boundaries[0],:]

    start_row = boundaries[0]
    for good_rows, total_rows in zip(effective_sizes[1:],boundaries[1:]):
        if good_rows>0:
            T = np.vstack( (T,data_matrix[start_row+window:start_row+total_rows,:]) )
        start_row += total_rows
        # check concatenate

    # training input to the LSTM
    X = np.zeros((total_training_rows, window, num_columns))
    curr_row = 0
    curr_boundary = 0
    for good_rows, total_rows in zip(effective_sizes,boundaries):
        for i in range(good_rows):
            X[curr_row] = data_matrix[curr_boundary+i:curr_boundary+i+window,:]
            curr_row += 1
        curr_boundary += total_rows

    return X,T,effective_sizes

为什么我的LSTM模型重复以前的值？

0 个答案: