我的代码中已经计算了两个var total = +array[1] + 1;
,如下所示:
dictionaries
实际上它们包含维基文本中的单词,但这应该用来表明我的意思。它们不一定包含相同的密钥。
最初我想使用X = {'a': 10, 'b': 3, 'c': 5, ...}
Y = {'a': 8, 'c': 3, 'e': 8, ...}
的成对指标,如下所示:
sklearn
然而,这会产生错误:
from sklearn.metrics.pairwise import pairwise_distances
obama = wiki[wiki['name'] == 'Barack Obama']['tf_idf'][0]
biden = wiki[wiki['name'] == 'Joe Biden']['tf_idf'][0]
obama_biden_distance = pairwise_distances(obama, biden, metric='euclidean', n_jobs=2)[0][0]
对我来说,这似乎是在尝试访问--------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-124-7ff03bd40683> in <module>()
6 biden = wiki[wiki['name'] == 'Joe Biden']['tf_idf'][0]
7
----> 8 obama_biden_distance = pairwise_distances(obama, biden, metric='euclidean', n_jobs=2)[0][0]
/home/xiaolong/development/anaconda3/envs/coursera_ml_clustering_and_retrieval/lib/python3.4/site-packages/sklearn/metrics/pairwise.py in pairwise_distances(X, Y, metric, n_jobs, **kwds)
1205 func = partial(distance.cdist, metric=metric, **kwds)
1206
-> 1207 return _parallel_pairwise(X, Y, func, n_jobs, **kwds)
1208
1209
/home/xiaolong/development/anaconda3/envs/coursera_ml_clustering_and_retrieval/lib/python3.4/site-packages/sklearn/metrics/pairwise.py in _parallel_pairwise(X, Y, func, n_jobs, **kwds)
1058 ret = Parallel(n_jobs=n_jobs, verbose=0)(
1059 fd(X, Y[s], **kwds)
-> 1060 for s in gen_even_slices(Y.shape[0], n_jobs))
1061
1062 return np.hstack(ret)
AttributeError: 'dict' object has no attribute 'shape'
shape
属性,而dict
没有。我想它需要numpy
个数组。我如何转换字典,以便sklearn
函数计算正确的距离,假定0
值,如果字典没有某个键,另一个字典有哪个?
答案 0 :(得分:6)
为什么不直接从稀疏表示中做到这一点?
In [1]: import math
In [2]: Y = {'a': 8, 'c':3,'e':8}
In [3]: X = {'a':10, 'b':3, 'c':5}
In [4]: math.sqrt(sum((X.get(d,0) - Y.get(d,0))**2 for d in set(X) | set(Y)))
Out[4]: 9.0
答案 1 :(得分:3)
您可以先创建一个包含词典所有键的列表(请务必注意此列表必须排序):
X = {'a': 10, 'b': 3, 'c': 5}
Y = {'a': 8, 'c': 3, 'e': 8}
data = [X, Y]
words = sorted(list(reduce(set.union, map(set, data))))
这在Python 2中运行良好,但如果您使用的是Python 3,则需要添加句子from functools import reduce
(感谢@Zelphir发现这一点)。如果您不想导入functools
模块,可以使用以下代码替换上面代码段的最后一行:
words = set(data[0])
for d in data[1:]:
words = words | set(d)
words = sorted(list(words))
无论选择哪种方法,列表words
都可以设置一个矩阵,其中每行对应一个字典(一个样本),并放置这些字典(特征)的值在与其键对应的列中。
feats = zip(*[[d.get(w, 0) for d in data] for w in words])
此矩阵可以传递给scikit的函数pairwise_distance
:
from sklearn.metrics.pairwise import pairwise_distances as pd
dist = pd(feats, metric='euclidean')
以下交互式会话演示了它的工作原理:
In [227]: words
Out[227]: ['a', 'b', 'c', 'e']
In [228]: feats
Out[228]: [(10, 3, 5, 0), (8, 0, 3, 8)]
In [229]: dist
Out[229]:
array([[ 0., 9.],
[ 9., 0.]])
最后,您可以将上面的代码包装到函数中,以计算任意数量字典的成对距离:
def my_func(data, metric='euclidean'):
words = set(data[0])
for d in data[1:]:
words = words | set(d)
words = sorted(list(words))
feats = zip(*[[d.get(w, 0) for d in data] for w in words])
return pd(feats, metric=metric)
我已经避免了对reduce
的调用,以使包装器能够跨版本工作。
演示:
In [237]: W = {'w': 1}
In [238]: Z = {'z': 1}
In [239]: my_func((X, Y, W, Z), 'cityblock')
Out[239]:
array([[ 0., 15., 19., 19.],
[ 15., 0., 20., 20.],
[ 19., 20., 0., 2.],
[ 19., 20., 2., 0.]])
答案 2 :(得分:0)
好像你想要使用X.get(search_string,0)
,它会输出值,如果没有找到,则为0。如果你有很多搜索字符串,你可以[X.get(s,0) for s in list_of_strings]
来推送输出列表。