在Pandas中将字典转换为对称/距离矩阵的最有效方法

Question

我为具有奇怪距离度量的东西做成对距离。我有一个像pd.DataFrame这样的词典，我希望像对称矩阵一样制作对称NumPy。

最有效的方法是什么？我找到了一种方法，但它似乎不是最好的方法。 Pandas或1.46 ms per loop中是否有进行此类操作的内容？还是只是一个更快的方式？我的方式是np.random.seed(0) D_pair_value = dict() for pair in itertools.combinations(list("ABCD"),2): D_pair_value[pair] = np.random.randint(0,5) D_pair_value # {('A', 'B'): 4, # ('A', 'C'): 0, # ('A', 'D'): 3, # ('B', 'C'): 3, # ('B', 'D'): 3, # ('C', 'D'): 1} D_nested_dict = defaultdict(dict) for (p,q), value in D_pair_value.items(): D_nested_dict[p][q] = value D_nested_dict[q][p] = value # Fill diagonal with zeros DF = pd.DataFrame(D_nested_dict) np.fill_diagonal(DF.values, 0) DF

javac -cp lib/jar1.jar:lib/jar2.jar src/StockTradeGenerator.java

Answer 1

您可以使用scipy.spatial.distance.squareform将距离计算向量（即[d(A,B), d(A,C), ..., d(C,D)]）转换为您正在寻找的距离矩阵。

方法1：列表中存储的距离

如果您按顺序计算距离，例如在示例代码和我的示例距离向量中，我会避​​免使用字典并将结果存储在列表中，并执行以下操作：

from scipy.spatial.distance import squareform

df = pd.DataFrame(squareform(dist_list), index=list('ABCD'), columns=list('ABCD'))

方法2：字典中存储的距离

如果你不按顺序计算事物并且需要字典，你只需要得到一个正确排序的距离矢量：

from scipy.spatial.distance import squareform

dist_list = [dist[1] for dist in sorted(D_pair_value.items())]
df = pd.DataFrame(squareform(dist_list), index=list('ABCD'), columns=list('ABCD'))

方法3：已排序字典中存储的距离

如果需要字典，请注意，有一个名为sortedcontainers的软件包，其中SortedDict基本上可以解决您的排序问题。要使用它，您需要更改的是将D_pair_value初始化为SortedDict()而不是dict。使用示例设置：

from scipy.spatial.distance import squareform
from sortedcontainers import SortedDict

np.random.seed(0)
D_pair_value = SortedDict()
for pair in itertools.combinations(list("ABCD"),2):
    D_pair_value[pair] = np.random.randint(0,5)

df = pd.DataFrame(squareform(D_pair_value.values()), index=list('ABCD'), columns=list('ABCD'))

上述任何方法的结果输出：

     A    B    C    D
A  0.0  4.0  0.0  3.0
B  4.0  0.0  3.0  3.0
C  0.0  3.0  0.0  1.0
D  3.0  3.0  1.0  0.0

Answer 2

给出一个键（单个字符）和距离字典，这里是一个基于NumPy的方法 -

def dict2frame(D_pair_value):
    # Extract keys and values
    k = np.array(D_pair_value.keys())
    v = np.array(D_pair_value.values())

    # Get row, col indices from keys
    idx = (np.fromstring(k.tobytes(),dtype=np.uint8)-65).reshape(-1,2)

    # Setup output array and using row,col indices set values from v
    N = idx.max()+1
    out = np.zeros((N,N),dtype=v.dtype)
    out[idx[:,0],idx[:,1]] = v
    out[idx[:,1],idx[:,0]] = v

    header = list("".join([chr(item) for item in np.arange(N)+65]))
    return pd.DataFrame(out,index=header, columns=header)

示例运行 -

In [166]: D_pair_value
Out[166]: 
{('A', 'B'): 4,
 ('A', 'C'): 0,
 ('A', 'D'): 3,
 ('B', 'C'): 3,
 ('B', 'D'): 3,
 ('C', 'D'): 1}

In [167]: dict2frame(D_pair_value)
Out[167]: 
   A  B  C  D
A  0  4  0  3
B  4  0  3  3
C  0  3  0  1
D  3  3  1  0