从sklearn的MLPClassifier中检索最终隐藏的激活层输出

Question

我想在MLPClassifier数据之后使用sklearn的fit对神经网络最终隐藏的激活层输出进行一些测试。

例如，如果我创建了一个分类器，假设数据X_train带有标签y_train和两个隐藏的大小(300,100)

clf = MLPClassifier(hidden_layer_sizes=(300,100))
clf.fit(X_train,y_train)

我希望能够以某种方式调用函数来检索长度为100的最终隐藏激活层向量，以便在其他测试中使用。

假设测试集X_test, y_test，正常预测将是：

preds = clf.predict(X_test)

但是，我想做类似的事情：

activation_layers_for_all_X_test = clf.get_final_activation_output(X_test)

存在get_weights之类的功能，但这只会在每层的基础上帮助我。如果没有自己进行转换，是否有另一种方法可以检索最终隐藏层的最终隐藏层激活输出？

以此图为例：

我想要的输出是Out Layer，即最终隐藏层的最终激活输出。

Answer 1

正如我在上面的评论中所说的那样，看起来没有一个功能可以完全按照sklearn的要求进行操作，但你可以很容易地破解_predict功能，使其能够做到你要。以下代码将返回所有激活，您可以将其编辑为return activations[-2]，仅用于您所追求的位。

def get_activations(clf, X):
        hidden_layer_sizes = clf.hidden_layer_sizes
        if not hasattr(hidden_layer_sizes, "__iter__"):
            hidden_layer_sizes = [hidden_layer_sizes]
        hidden_layer_sizes = list(hidden_layer_sizes)
        layer_units = [X.shape[1]] + hidden_layer_sizes + \
            [clf.n_outputs_]
        activations = [X]
        for i in range(clf.n_layers_ - 1):
            activations.append(np.empty((X.shape[0],
                                         layer_units[i + 1])))
        clf._forward_pass(activations)
        return activations