我又遇到了一个奇怪的问题。
假设我有以下虚拟数据框（通过演示我的问题）：
import numpy as np
import pandas as pd
import string
# Test data frame
N = 3
col_ids = string.letters[:N]
df = pd.DataFrame(
np.random.randn(5, 3*N),
columns=['{}_{}'.format(letter, coord) for letter in col_ids for coord in list('xyz')])
df
这会产生：
A_x A_y A_z B_x B_y B_z C_x C_y C_z
0 -1.339040 0.185817 0.083120 0.498545 -0.569518 0.580264 0.453234 1.336992 -0.346724
1 -0.938575 0.367866 1.084475 1.497117 0.349927 -0.726140 -0.870142 -0.371153 -0.881763
2 -0.346819 -1.689058 -0.475032 -0.625383 -0.890025 0.929955 0.683413 0.819212 0.102625
3 0.359540 -0.125700 -0.900680 -0.403000 2.655242 -0.607996 1.117012 -0.905600 0.671239
4 1.624630 -1.036742 0.538341 -0.682000 0.542178 -0.001380 -1.126426 0.756532 -0.701805
现在我想在这个pandas数据框上使用scipy.spatial.distance.pdist。事实证明这是一个非常重要的过程。 pdist做的是使用欧几里德距离（2范数）计算m点之间的距离作为点之间的距离度量。这些点被排列为矩阵X（source）中的m维行向量。
因此，有一些事情需要做，以创建一个在熊猫数据框上运行的函数，以便可以使用pdist函数。您会注意到，当点数非常大时，pdist很方便。我已经尝试制作自己的，适用于单行数据帧，但我不能让它在理想情况下立即在整个数据帧上工作。
这是我的尝试：
from scipy.spatial.distance import pdist, squareform
import numpy as np
import pandas as pd
import string
def Euclidean_distance(df):
EcDist = pd.DataFrame(index=df.index) # results container
arr = df.values # Store data frame values into a numpy array
tag_list = [num for elem in arr for num in elem] # flatten numpy array into single list
tag_list_3D = zip(*[iter(tag_list)]*3) # separate list into length = 3 sub-lists, that pdist() can work with
EcDist = pdist(tag_list_3D) # the distance between m points using Euclidean distance (2-norm)
return EcDist
首先，我开始以pandas形式创建结果容器，以存储结果。其次，我将pandas数据框保存为numpy数组，以便在下一步中将其保存为列表形式。它必须是列表形式，因为pdist函数仅对列表进行操作。将数据框保存到数组中时，会将其作为列表存储在列表中。这必须被展平，并保存在'tag_list'变量中。第三，将tag_list进一步简化为长度为3的子列表，使得可以获得每个点的x，y和z坐标，这可以用于找到所有这些点之间的欧几里德距离（在该示例中）有三点：A，B和C各为三维）。
如上所述，如果数据帧是单行，则该函数有效，但在给定示例中使用该函数时，它计算5x3点的欧几里德距离，总共产生105个距离。我想要它做的是计算每行的距离（因此pdist一次只能用于1x3向量）。这样我的最终结果就像这样：
dist_1 dist_2 dist_3
0 0.807271 0.142495 1.759969
1 0.180112 0.641855 0.257957
2 0.196950 1.334812 0.638719
3 0.145780 0.384268 0.577387
4 0.044030 0.735428 0.549897
（这些只是用于显示所需形状的虚拟数字）
因此，如何让我的函数以行方式应用于数据框？ 或者更好的是，如何让它立即在整个数据框上执行该功能，然后将结果存储在新的数据框中？
非常感谢任何帮助。感谢。
答案 0 :(得分：5)
如果我理解正确，你就有“群体”积分。在您的示例中，每个组都有三个点，您可以将它们称为A，B和C.A由三列A_x，A_y，A_z表示，对于B和C也是如此。
我建议您将“宽格式”数据重组为“长”形式，其中每行仅包含一个点。然后每行只有三个列的坐标，然后你将添加一个额外的列来表示一个点所在的组。这是一个例子：
>>> d = pandas.DataFrame(np.random.randn(12, 3), columns=["X", "Y", "Z"])
>>> d["Group"] = np.repeat([1, 2, 3, 4], 3)
>>> d
X Y Z Group
0 -0.280505 0.888417 -0.936790 1
1 0.823741 -0.428267 1.483763 1
2 -0.465326 0.005103 -1.107431 1
3 -1.009077 -1.618600 -0.443975 2
4 0.535634 0.562617 1.165269 2
5 1.544621 -0.858873 -0.349492 2
6 0.839795 0.720828 -0.973234 3
7 -2.273654 0.125304 0.469443 3
8 -0.179703 0.962098 -0.179542 3
9 -0.390777 -0.715896 -0.897837 4
10 -0.030338 0.746647 0.250173 4
11 -1.886581 0.643817 -2.658379 4
Group == 1的三个点对应第一行中的A，B和C; Group == 2的三个点对应第二行中的A，B和C;等
使用此结构，使用pdist按组计算成对距离变得简单明了：
>>> d.groupby('Group')[["X", "Y", "Z"]].apply(lambda g: pandas.Series(distance.pdist(g), index=["D1", "D2", "D3"]))
D1 D2 D3
Group
1 2.968517 0.918435 2.926395
2 3.119856 2.665986 2.309370
3 3.482747 1.314357 2.346495
4 1.893904 2.680627 3.451939
您可以使用现有设置执行类似的操作，但这会更加尴尬。您设置方式的问题在于您以难以提取的方式编码关键信息。有关哪些列是X坐标以及哪些是Y或Z坐标的信息，以及有关哪些列在您的设置中引用A点与B或C的信息，则以文本名称进行编码的列。作为人类，您只需通过查看它们就可以看到哪些列是X值，但是以编程方式指定需要解析列的字符串名称。
您可以在使用'{}_{}'.format(letter, coord)业务制作列名的方式中看到这一点。这意味着为了在数据上使用pdist，您必须执行将列名称解析为字符串的反向操作，以便确定要比较的列。不用说，这将是尴尬的。另一方面，如果将数据放入“长”形式，则没有这样的困难：所有点的X坐标在一个列中排列，同样对于Y和Z，以及有关哪些点要比较的信息也包含在一个列（“组”列）中。
如果要对数据子集进行大规模操作，通常最好将事物拆分为单独的行。这使您可以利用groupby的强大功能，通常也是scipy工具所期望的。