Question

我有一个数据集，其中包含3个不同的相关文本信息列，我希望将其转换为doc2vec向量，然后使用神经网络进行分类。我的问题是如何将这三列转换为向量并将其输入到神经网络？

如何将级联向量输入神经网络？

Answer 1

一种方法是在定义 doc2vec中为所有三个文档获取order向量，并将它们附加在一起。然后将结果向量拟合到您的神经网络。

另一种方法是创建一列，其中每一行都是3个字符串的列表（代表三个文档），并获得所有三个文档的一个矢量表示。请参见下面的一些示例代码。

from gensim.test.utils import common_texts
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
documents = [TaggedDocument(doc, [i]) for i, doc in enumerate(common_texts)]
model = Doc2Vec(documents, vector_size=5, window=2, min_count=1, workers=4)
model.infer_vector(['theis is a sentence1', 'here is another sentence', 'this represents the third sentence']).tolist()

完成后，您可以初始化模型并进行训练。

要适合sklearn clasifier（例如sgd），请查看下面的代码段。

from sklearn import svm
clf = svm.SVC(gamma=0.001, C=100.0)
d = pd.DataFrame({'vectors':[[1,2,3], [3,6,5], [9,2,4], [1,2,7]], "targets": ['class1', 'class1', 'class2', 'class2']})
d
>>>
      vectors   targets
0   [1, 2, 3]   class1
1   [3, 6, 5]   class1
2   [9, 2, 4]   class2
3   [1, 2, 7]   class2

您可以按照以下步骤在向量上拟合sklearn简化器。

clf.fit(X = d.vectors.values.tolist(), y =d.targets)

>>>
SVC(C=100.0, cache_size=200, class_weight=None, coef0=0.0,
decision_function_shape='ovr', degree=3, gamma=0.001, kernel='rbf',
max_iter=-1, probability=False, random_state=None, shrinking=True,
tol=0.001, verbose=False)

然后您可以使用此分类器来预测值。

Answer 2

我建议使用doc2vec将每个文本字段分别转换为向量，并连接向量并将结果向量馈入神经网络。

如何输入多个文本列的doc2vec向量？

2 个答案: