Question

我有一个numpy数组形式的大图像（opencv将它作为3个uint8值的2d数组返回）并且想要为每个像素计算高斯内核的总和，即（在那里仍然没有LaTeX支持吗？）： density function

对于具有指定权重w，平均和对角协方差矩阵的N个不同内核。

所以基本上我想要一个函数compute_densities(image, kernels) -> numpy array of floats。在python中有效执行此操作的最佳方法是什么？如果scipy中还没有库函数，我会感到惊讶，但很久以前我在uni上有统计数据，所以我对文档的细节感到有点困惑..

基本上我想要以下，比天真的python更有效率（2pi ^ { - 3/2}被忽略，因为它是一个对我来说无关紧要的常数因素，因为我只对概率之间的比率感兴趣）

def compute_probabilities(img, kernels):
    np.seterr(divide='ignore') # 1 / covariance logs an error otherwise
    result = np.zeros((img.shape[0], img.shape[1]))
    for row_pos, row_val in enumerate(img):
        for col_pos, val in enumerate(row_val):
            prob = 0.0
            for kernel in kernels:
                mean, covariance, weight = kernel
                val_sub_mu = np.array([val]).T - mean
                cov_inv = np.where(covariance != 0, 1 / covariance, 0)
                tmp = val_sub_mu.T.dot(cov_inv).dot(val_sub_mu)
                prob += weight / np.sqrt(np.linalg.norm(covariance)) * \
                        math.exp(-0.5 * tmp)
            result[row_pos][col_pos] = prob
    np.seterr(divide='warn')
    return result

在某些jpg上输入：cv2.imread，它给出了包含3个颜色通道的3 uint8结构的2d数组（高x宽）。

内核是namedtuple('Kernel', 'mean covariance weight')，平均值是向量，协方差是3x3矩阵，除了对角线为零且权重为浮点0 < weight < 1之外的所有内容。为简单起见，我只指定了对角线，然后将其转换为3x3矩阵:(表示不是一成不变的，我不关心它是如何表示的，因此可以自由地改变所有这些）：

some_kernels = [
   Kernel(np.array([(73.53, 29.94, 17.76)]), np.array([(765.40, 121.44, 112.80)]), 0.0294),
   ...
]

def fixup_kernels(kernels):
    new_kernels = []
    for kernel in kernels:
        cov = np.zeros((3, 3))
        for pos, c in enumerate(kernel.covariance[0]):
            cov[pos][pos] = c
        new_kernels.append(Kernel(kernel.mean.T, cov, kernel.weight))
    return new_kernels

 some_kernels = fixup_kernels(some_kernels)
 img = cv2.imread("something.jpg")
 result = compute_probabalities(img, some_kernels)

Answer 1

修改的

我确认这会产生与原始代码相同的结果：

def compute_probabilities_fast(img, kernels):
    np.seterr(divide='ignore')
    result = np.zeros((img.shape[0], img.shape[1]))
    for kernel in kernels:
        mean, covariance, weight = kernel
        cov_inv = np.where(covariance != 0, 1 / covariance, 0)
        mean = mean[:,0]
        img_sub_mu = img - mean
        img_tmp = np.sum( img_sub_mu.dot(cov_inv) * img_sub_mu, axis=2 )
        result += (weight / np.sqrt(np.linalg.norm(covariance))) * np.exp(-0.5 * img_tmp)
    return result

说明：

mean[:,0]使形状简单（3，）而不是（3,1）。

img - mean广播到整个图像并从每个像素中减去均值。

img_sub_mu.dot(cov_inv)大致相当于val_sub_mu.T.dot(cov_inv)。

np.sum( ... * img_sub_mu, axis=2 )大致相当于.dot(val_sub_mu)。但是，不能使用点，因为这样做会增加额外的维度。例如，点阵有阵列M x K x N的阵列M x N x K将产生结果M x N x M x N，点在一维和多维数据上表现不同。所以我们只做一个逐元素乘法，然后沿最后一个维度求和。

实际上问题中的“高斯内核之和”让我感到困惑。所要求的是一种计算，其中对于每个输出像素，该值在相同像素的输入值上仅取决于，而不取决于相邻像素的值。因此，这与高斯模糊（使用卷积）完全不同，它只是对每个像素单独执行的计算。

P.S。 1 / covariance有问题。您确定不想要np.linalg.inv(covariance)吗？

OLD ANSWER

听起来你想要的就是其中之一：

scipy.signal.convolve2d

scipy.ndimage.filters.convolve

这个问题有点令人困惑，你是想尝试计算一堆用不同高斯卷积的图像，还是用一个高斯的数量卷积的单个图像？你的内核是可分的吗？（如果是，使用两个卷积Mx1和1xN而不是一个MxN）你使用的scipy函数在任何情况下都是相同的。

当然，您也希望使用numpy.random.normal和meshgrid的组合预先计算内核。

Answer 2

据我了解，您的目标是评估每个图像像素值相对于多元正态分布混合的概率密度。

[目前（2013-11-20）您的问题代码中存在错误，@ Alex我的回答 - 上述等式中| |周围\Sigma实际上表示行列式而不是向量范数 - 参见例如here。在对角协方差的情况下，行列式只是对角元素的乘积。]

可以非常有效地实施密度计算在numpy数组操作方面。以下实现使用你问题中协方差矩阵的球形（即对角线）性质：

def compute_probabilities_faster(img, kernels):
  means, covs, weights = map(np.dstack, zip(*kernels)) 
  pixels_as_rows = img.reshape((-1, 3, 1))
  responses = np.exp(-0.5 * ((pixels_as_rows - means) ** 2 / covs).sum(axis=1))
  factors = 1. / np.sqrt(covs.prod(axis=1) * ((2 * np.pi) ** 3))
  return np.sum(responses * factors * weights, axis=2).reshape(img.shape[:2])

此函数最初直接在内核上运行代表，即。 您的fixup_kernels功能未经修改。当删除规范化因子(2 * np.pi) ** 3（并且linalg.norm的调用被linalg.det替换）时，此函数会匹配代码的输出（足以满足np.allclose）。< / p>

SciPy中最接近开箱即用的功能（截至0.13）是在scipy.stats中实现核密度估计（参见here），它定义了一个非常相似的每个内核的协方差矩阵相同的分布 - 因此不适合您的问题。

Answer 3

从Python获得性能的方法是不使用Python。

有许多包使用Python语法，但随后使用C或C ++后端。 NumPy本身就是这样做的。您的问题似乎是针对Cython或numexpr等问题量身定制的。这两个链接都向您展示如何在NumPy向量上使用任一系统内核。

编辑：我很想让我的一位选民告诉我我的错误。如果找不到预先制作的功能，我建议采用一种方法。如果你知道一种方法，比Cython或numexpr更能表现这种性能（即用Python语法编写C的方法），那么我很乐意听到它。

高效的密度函数计算

3 个答案: