Question

我有一个DataFrame和一个查找表。对于DataFrame中的键，我想查找查找表中的相应行并计算多个列的欧几里德距离。模拟数据看起来像

import pandas as pd
import numpy.random as rand

df = pd.DataFrame({'key':rand.randint(0, 5, 10), 
                    'X': rand.randn(10),  
                    'Y': rand.randn(10),  
                    'Z': rand.randn(10)})

          X         Y         Z  key
0  0.163142  0.387871 -0.433157    3
1 -2.020957 -1.537615 -1.996704    0
2  1.249118  1.633246  0.028222    1
3 -0.019601  1.757136  0.787936    2
4 -0.039649  1.380557  0.123677    0
5  0.500814 -1.049591 -1.261868    3
6  1.175576 -0.310895  0.549420    0
7 -0.152696  0.139020  0.887219    2
8  0.491099  0.434652  0.791038    2
9 -0.231334  0.264414  0.913475    4


lookup = pd.DataFrame({'X': rand.randn(5),  
                    'Y': rand.randn(5),  
                    'Z': rand.randn(5)})

          X         Y         Z
0  0.242419 -0.630230 -0.254344
1  0.799573  0.354169  1.099456
2 -0.754582 -1.882192 -1.270382
3 -1.645707 -0.131905 -0.445954
4  0.743351  0.456220  0.975457
5  0.136197  0.278329 -2.336110

例如，第0列具有值

df.loc[0,'X':'Z'].values
[0.163142,0.387871,-0.433157]

键是3，因此查找中的行是

lookup.iloc[3,:].values
[-1.645707 -0.131905 -0.445954]

距离是

import numpy as np
np.linalg.norm(np.array([0.163142,0.387871,-0.433157]) - np.array([-0.754582, -1.882192, -1.270382]))
2.5877304853423202

我想为df中的每一行执行此操作，并将值作为新列返回。有没有一个光滑的方式来做到这一点？

Answer 1

IIUC。我们在这里使用2 5 4 3 6 8

reindex

Answer 2

矢量化方法：

In [88]: (df.merge(lookup, left_on='key', right_index=True, suffixes=['1','2'])
    ...:    .eval("sqrt((X1-X2)**2 + (Y1-Y2)**2 + (Z1-Z2)**2)"))
    ...:
Out[88]:
0    1.041056
5    2.381120
1    2.832168
4    1.549664
6    1.725080
2    2.593081
3    3.096872
7    2.211651
8    1.800886
9    2.976105
dtype: float64

Answer 3

一个更清洁，更快的@Wen版本。仍然使用reindex但使用numpy.linalg.norm而不是scipy.spatial.distance.euclidean

import numpy as np    
dims = ['X','Y','Z']
df['distance'] = np.linalg.norm((df[dims].values)-(lookup.reindex(df['key']).values), axis = 1)

根据查找数据帧

3 个答案: