Question

我有一个数组，其中和（来自望远镜的一些数据）。

我需要计算3D中2点之间的距离（根据列中的x，y，z坐标）。

当我尝试使用sklearn工具时，结果是：

ValueError：数组太大; arr.size * arr.dtype.itemsize大于最大可能大小。

在这种情况下我可以使用哪种工具以及此工具的最大可能尺寸？

Answer 1

在这种情况下我可以使用什么工具......？

您可以使用@Saksow建议的方法自行实施欧几里德距离函数。假设a和b是一维NumPy数组，您还可以使用this thread中提出的任何方法：

import numpy as np
np.linalg.norm(a-b)
np.sqrt(np.sum((a-b)**2))
np.sqrt(np.dot(a-b, a-b))

如果您希望一次计算 n*m 数组中所有点之间的成对距离（不一定是欧几里德距离），模块scipy.spatial.distance就是您的朋友。

<强>演示：

In [79]: from scipy.spatial.distance import squareform, pdist

In [80]: arr = np.asarray([[0, 0, 0],
    ...:                   [1, 0, 0],
    ...:                   [0, 2, 0],
    ...:                   [0, 0, 3]], dtype='float')
    ...: 

In [81]: squareform(pdist(arr, 'euclidean'))
Out[81]: 
array([[ 0.        ,  1.        ,  2.        ,  3.        ],
       [ 1.        ,  0.        ,  2.23606798,  3.16227766],
       [ 2.        ,  2.23606798,  0.        ,  3.60555128],
       [ 3.        ,  3.16227766,  3.60555128,  0.        ]])

In [82]: squareform(pdist(arr, 'cityblock'))
Out[82]: 
array([[ 0.,  1.,  2.,  3.],
       [ 1.,  0.,  3.,  4.],
       [ 2.,  3.,  0.,  5.],
       [ 3.,  4.,  5.,  0.]])

请注意，此玩具示例中使用的模拟数据数组中的点数为 n=4 ，并且生成的成对距离数组具有 n^2=16 个元素。

...这个工具有多大可能的尺寸？

如果您尝试使用数据（ n=217000 ）应用上述方法，则会收到错误消息：

In [105]: data = np.random.random(size=(217000, 3))

In [106]: squareform(pdist(data, 'euclidean'))
Traceback (most recent call last):

  File "<ipython-input-106-fd273331a6fe>", line 1, in <module>
    squareform(pdist(data, 'euclidean'))

  File "C:\Users\CPU 2353\Anaconda2\lib\site-packages\scipy\spatial\distance.py", line 1220, in pdist
    dm = np.zeros((m * (m - 1)) // 2, dtype=np.double)

MemoryError

问题是你的RAM用完了。要执行此类计算，您需要超过350TB！所需的存储量是通过将距离矩阵的元素数（217000 ²）乘以该矩阵的每个元素的字节数（8），并将该乘积除以适当的因子得到的（1024 ³）以千兆字节表示结果：

In [107]: round(data.shape[0]**2 * data.dtype.itemsize / 1024.**3)
Out[107]: 350.8

因此，数据的最大允许大小取决于可用RAM的数量（有关详细信息，请查看this thread）。

Answer 2

仅使用3个维度的Python和Euclidean distance公式：

import math
distance = math.sqrt((x1 - x2) ** 2 + (y1 - y2) ** 2 + (z1 - z2) ** 2)

3D阵列中2个点之间的距离

2 个答案: