Question

似乎无法将预训练嵌入加载到图层。见here

我所做的解决方法如下：

    model = create_model()

    E = [p for p in model.parameters if p.name == 'E'][0]
    emb = np.asarray(np.loadtxt('embeddings.txt', delimiter=' '), dtype='float32')
    model = model.clone(CloneMethod.clone, { E: constant(emb) })

embeddings.txt具有以下格式，其中行数是我使用的词汇中的单词数，列数是我为嵌入选择的维度： -0.05952413007617 0.12596195936203 -0.189506858587265 ... -0.0871662572026253 -0.0454806201159954 -0.126074999570847 ... ...

上述内容似乎是正确的解决方法吗？我开始了一个训练课程，与训练嵌入层时的参数数量相比减少了，这可能是一个很好的指示。

Answer 1

请你试试看：E.value = emb作为替代解决方法。

您的解决方法将嵌入冻结为常量。如果这是不可接受的，并且您想进一步训练嵌入，则可以选择上述方法。

Answer 2

这已得到修复。例如：

# embedding, initialized from a user-supplied constant weight table
e = Embedding(weights=[[1, 3, 2], [3, 4, 1]])

# (you would get the weights from a file instead)

# test it:
y = Input(2)

dat = np.array([[-1., 1.]], dtype=np.float32)
res = e(y).eval({y: dat})

npout = np.matrix(dat[0]) * e.E.value
np.testing.assert_array_equal(res[0], npout, err_msg='Error in constant embedding layer')

CNTK：从文件加载预训练词嵌入的解决方法

2 个答案: