我一直在尝试学习python编程,并且正在尝试实施一个链接预测项目。
我有一个包含像元组对的列表:
db.mycollection.aggregate([
{
$lookup: {
from: "mycollection",
let: {
id_lav: "$worker_id",
curr_ord_id: "$ord_id"
},
/** 'curr_' is for current*/
pipeline: [
{
$sort: {
ord_id: 1
}
},
{
$match: {
$expr: {
$and: [
{
$eq: [
"$worker_id",
"$$id_lav"
]
},
{
$gt: [
"$ord_id",
"$$curr_ord_id"
]
}
]
}
}
},
{
$limit: 1
}
],
as: "next"
}
},
{
$unwind: {
path: "$next",
preserveNullAndEmptyArrays: true
}
},
{ $unwind: { path: "$next", preserveNullAndEmptyArrays: true} },
{ $out: "mycollection" }
],
{
allowDiskUse: true
})
我能够生成未连接的对-即使用以下代码在原始列表中不存在的对:
ten_author_pairs = [('creutzig', 'gao'), ('creutzig', 'linshaw'), ('gao', 'linshaw'), ('jing', 'zhang'), ('jing', 'liu'), ('zhang', 'liu'), ('jing', 'xu'), ('briant', 'einav'), ('chen', 'gao'), ('chen', 'jing'), ('chen', 'tan')]
这导致我拥有一个非常不平衡的数据集-现实生活中的数据集可能是这种情况。
接下来,为了应用node2vec,首先,我将这两个列表都转换为数据帧-
#generating negative examples -
from itertools import combinations
elements = list(set([e for l in ten_author_pairs for e in l])) # find all unique elements
complete_list = list(combinations(elements, 2)) # generate all possible combinations
#convert to sets to negate the order
set1 = [set(l) for l in ten_author_pairs]
complete_set = [set(l) for l in complete_list]
# find sets in `complete_set` but not in `set1`
ten_unconnnected = [list(l) for l in complete_set if l not in set1]
print(len(ten_author_pairs))
print(len(ten_unconnnected))
然后,我制作图并按如下所示应用node2vec:
df = pd.DataFrame(ten_author_pairs, columns = ['u1','u2'])
df_negative = pd.DataFrame(ten_unconnected, columns = ['u1','u2'])
df['link'] = 1 #for connected pairs
df_negative['link'] = 0 #for unconnected pairs
df_new = pd.concat([df,df_negative])
最后,我使用Logistic回归进行链接预测,如下所示:
# build graph
G_data = nx.from_pandas_edgelist(df_new, "u1", "u2", create_using=nx.Graph())
#!pip install node2vec
from node2vec import Node2Vec
# Generate walks
node2vec = Node2Vec(G_data, dimensions=100, walk_length=16, num_walks=50)
# train node2vec model
n2w_model = node2vec.fit(window=7, min_count=1)
我得到的分数是0.36,非常差。
任何人都可以帮助我-
我真的非常感谢您的帮助。
答案 0 :(得分:1)
您的目标是预测2个未连接节点之间是否存在链接。
首先,您提取节点之间没有链接的节点对。
下一步是从给定的图形中隐藏一些边缘。这是准备训练数据集所必需的。随着社交网络的发展,引入了新的优势。机器学习模型需要知道演化的图。具有隐藏边的图是时间G
的图t
,而我们当前的数据集是时间{{1}的图G
}。
在删除链接或边缘时,应避免删除可能产生未连接节点或网络的任何边缘。下一步是为所有未连接的节点对(包括您隐藏的对)创建功能。
已删除的边将标记为t+n
(正样本),未连接的节点对将标记为1
(负样本)。
标记后,您可以使用0
算法从图中提取节点特征。为了计算边的特征,您可以将那对节点的特征相加。这些功能将通过逻辑回归模型进行训练。
您可以在节点中添加更多度量作为值,以便模型可以根据您的需求预测特征。例如adamic / adar索引,共同邻居等。
由于已将图形拆分为训练样本和测试样本,因此必须找出哪些边缘具有模型预测的概率。
node2vec
尝试捕获是为了确保我们不会出现索引错误,因为xtrain中的某些数组将为空。
低分可能是您隐藏边缘的方式导致的。尝试使用不同的参数和测试大小调整逻辑回归。
此外,您将需要更大的数据集,以便可以正确地训练模型。
您还可以尝试使用不同的机器学习模型,例如随机森林分类器或多层感知器。