Question

我有一个大的3维（时间，经度，纬度）输入数组。大多数条目都被屏蔽了。我需要找到掩码为False的条目超过特定数量的连续时间步长（我在这里称之为threshold）。结果应该是与输入掩码具有相同形状的掩码。

这是一些伪代码，希望能让我更清楚我的意思：

new_mask = find_consecutive(mask, threshold=3)
mask[:, i_lon, i_lat]
# [1, 0, 0, 0, 0, 1, 1, 0, 0, 1, 0]
new_mask[:, i_lon, i_lat]
# [1, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

编辑：

我不确定我的方法到目前为止是否有意义。它在性能方面表现良好，并为我提供了标记数组和关于我想要哪些标签的知识。我只是无法找到一种有效的方法将labels再次转换为掩码。

from scipy.ndimage import measurements
structure = np.zeros((3, 3, 3))
structure[:, 1, 1] = 1
labels, nr_labels = measurements.label(1 - mask, structure=structure)
_, counts = np.unique(labels, return_counts=True)
labels_selected = [i_count for i_count, count in enumerate(counts)
                   if count >= threshold]

Answer 1

这是binary closing operation in image-processing的经典案例。要解决此问题，您可以在我们提供所有ONES且长度为threshold的适当1D内核后，从scipy模块获取帮助，特别是 - scipy.ndimage.morphology.binary_closing。此外，Scipy的binary closing函数仅为我们提供了封闭的掩码。因此，为了获得所需的输出，我们需要使用输入掩码OR。因此，实现看起来像这样 -

from scipy.ndimage import binary_closing
out = mask | binary_closing(mask, structure=np.ones(threshold))

NumPy版本的二进制关闭怎么样？

现在，结束操作基本上是image-dilation and image-erosion，因此我们可以使用可靠的卷积操作来模拟那个behiviour，我们在NumPy中确实使用np.convolve。与scipy的二进制闭合操作类似，我们在这里也需要相同的内核，我们将它用于扩张和侵蚀。实施将是 -

def numpy_binary_closing(mask,threshold):

    # Define kernel
    K = np.ones(threshold)

    # Perform dilation and threshold at 1
    dil = np.convolve(mask,K,mode='same')>=1

    # Perform erosion on the dilated mask array and threshold at given threshold
    dil_erd = np.convolve(dil,K,mode='same')>= threshold
    return dil_erd

示例运行 -

In [133]: mask
Out[133]: 
array([ True, False, False, False, False,  True,  True, False, False,
        True, False], dtype=bool)

In [134]: threshold = 3

In [135]: binary_closing(mask, structure=np.ones(threshold))
Out[135]: 
array([False, False, False, False, False,  True,  True,  True,  True,
        True, False], dtype=bool)

In [136]: numpy_binary_closing(mask,threshold)
Out[136]: 
array([False, False, False, False, False,  True,  True,  True,  True,
        True, False], dtype=bool)

In [137]: mask | binary_closing(mask, structure=np.ones(threshold))
Out[137]: 
array([ True, False, False, False, False,  True,  True,  True,  True,
        True, False], dtype=bool)

In [138]: mask| numpy_binary_closing(mask,threshold)
Out[138]: 
array([ True, False, False, False, False,  True,  True,  True,  True,
        True, False], dtype=bool)

运行时测试（Scipy vs Numpy！）

案例＃1：一致稀疏

In [163]: mask = np.random.rand(10000) > 0.5

In [164]: threshold = 3

In [165]: %timeit binary_closing(mask, structure=np.ones(threshold))
1000 loops, best of 3: 582 µs per loop

In [166]: %timeit numpy_binary_closing(mask,threshold)
10000 loops, best of 3: 178 µs per loop

In [167]: out1 = binary_closing(mask, structure=np.ones(threshold))

In [168]: out2 = numpy_binary_closing(mask,threshold)

In [169]: np.allclose(out1,out2) # Verify outputs
Out[169]: True

案例＃2：更稀疏，更大的门槛

In [176]: mask = np.random.rand(10000) > 0.8

In [177]: threshold = 11

In [178]: %timeit binary_closing(mask, structure=np.ones(threshold))
1000 loops, best of 3: 823 µs per loop

In [179]: %timeit numpy_binary_closing(mask,threshold)
1000 loops, best of 3: 331 µs per loop

In [180]: out1 = binary_closing(mask, structure=np.ones(threshold))

In [181]: out2 = numpy_binary_closing(mask,threshold)

In [182]: np.allclose(out1,out2) # Verify outputs
Out[182]: True

获奖者 Numpy 并且大幅提升！

边界条件

如果1s 足够接近到bounadries，那么边界似乎也需要关闭。要解决这些情况，您可以在输入布尔数组的开头和结尾填充一个1，使用发布的代码，然后在结束时取消选择第一个和最后一个元素。因此，使用scipy的binary_closing方法的完整实现将是 -

mask_ext = np.pad(mask,1,'constant',constant_values=(1))
out = mask_ext | binary_closing(mask_ext, structure=np.ones(threshold))
out = out[1:-1]

示例运行 -

In [369]: mask
Out[369]: 
array([False, False,  True, False, False, False, False,  True,  True,
       False, False,  True, False], dtype=bool)

In [370]: threshold = 3

In [371]: mask_ext = np.pad(mask,1,'constant',constant_values=(1))
     ...: out = mask_ext | binary_closing(mask_ext, structure=np.ones(threshold))
     ...: out = out[1:-1]
     ...: 

In [372]: out
Out[372]: 
array([ True,  True,  True, False, False, False, False,  True,  True,
        True,  True,  True,  True], dtype=bool)

Answer 2

为了完整起见，这里也是我在编辑中概述的方法的解决方案。它的性能比Divakars解决方案的性能更差（与numpy_binary_closing相比大约为10倍），但允许处理3D阵列。此外，它提供了写出集群位置的可能性（不是问题的一部分，但它可能是有趣的信息）

import numpy as np
from scipy.ndimage import measurements

def select_consecutive(mask, threshold):

    structure = np.zeros((3, 3, 3))
    structure[:, 1, 1] = 1
    labels, _ = measurements.label(1 - mask, structure=structure)

    # find positions of all unmasked values
    # object_slices = measurements.find_objects(labels)

    _, counts = np.unique(labels, return_counts=True)
    labels_selected = [i_count for i_count, count in enumerate(counts)
                       if count >= threshold and i_count != 0]
    ind = np.in1d(labels.flatten(), labels_selected).reshape(mask.shape)

    mask_new = np.ones_like(mask)
    mask_new[ind] = 0

    return mask_new

查找连续的未屏蔽值

2 个答案: