有没有比for循环更快的方法来标记python中的matrix(3D array)?

时间:2019-03-07 19:31:07

标签: python arrays performance numpy matrix

我用Python编写了用于标记矩阵(3D数组)的代码。 代码的概念是

  1. 检查3D阵列中的2 x 2 2矩阵(无论我想要什么大小)
  2. 如果矩阵具有1、2和3作为元素,则矩阵中的所有元素都将变为“最大唯一数+ 1”。

    import numpy as np
    
    def label_A(input_field):
    labeling_A = np.copy(input_field)
    labeling_test = np.zeros((input_field.shape))
    for i in range(0,input_field.shape[0]-1):
        for j in range(0,input_field.shape[1]-1):
            for k in range(0,input_field.shape[2]-1):
                test_unit = input_field[i:i+2,j:j+2,k:k+2]
                if set(np.unique(test_unit).astype(int)) >= set((1,2,3)):
                    labeling_test[i:i+2,j:j+2,k:k+2] = np.max(input_field)+1
                    labeling_A[labeling_test == np.max(input_field)+1] = np.max(input_field)+1
        return labeling_A
    

这是3D矩阵中的简单示例代码。

example = np.random.randint(0, 10, size=(10, 10, 10))
label_example = label_A(example)
label_example

在我看来,代码本身没有问题,并且实际上可以正常工作。但是,我很好奇,有没有更快的方法可以做到这一点呢?

2 个答案:

答案 0 :(得分:1)

此实现返回建议的结果并在1.8秒内处理大小为(140,140,​​140)的张量。

import numpy as np
from scipy.signal import convolve

def strange_convolve(mat, f_shape, _value_set, replace_value):
    _filter =np.ones(tuple(s*2-1 for s in f_shape))
    replace_mat = np.ones(mat.shape)
    for value in _value_set:
        value_counts = convolve((mat==value),_filter,mode='same')
        replace_mat*=(value_counts>0)
    mat[replace_mat==1]=replace_value
    return mat
example = np.random.randint(0, 8, size=(10, 10, 10))
print('same_output validation is '+str((strange_convolve(example,(2,2,2),(1,2,3),4) == label_A(example)).min()))

import time 
example = np.random.randint(0, 10, size=(140, 140, 140))
timer = time.time()
strange_convolve(example,(2,2,2),(1,2,3),4)
print(time.time()-timer)

1.8871610164642334

答案 1 :(得分:0)

首先,您的代码有几个问题,可以轻松解决和加快。
对于每个循环,您将重新计算np.max(input_field)+1三次。
矩阵越大,影响就越明显。注意测试A和B的区别。

我尝试使用上面的卷积示例运行测试,虽然速度很快,但结果却从未与其他测试相同(在下面的设置中应该是相同的)。我相信它会在3x3x3的块中寻找1、2或3。

标签A的大小为10 --- 0:00.015628
标签B的尺寸为10 --- 0:00.015621
标签F的大小为10 --- 0:00.015628

标签A的大小为50 --- 0:15.984662
标签B的尺寸为50 --- 0:10.093478
标签F的大小为50 --- 0:02.265621

尺寸为80的标签A --- 4:02.564660
标签B尺寸为80-2:29.439298
标签F的大小为80 --- 0:09.437868

------编辑的----< em>-- 尽管我相信Peter给出的代码存在一些问题,但是convolve方法的速度肯定更快。

Label A with size of 10 : 00.013985
[[ 2 10 10 10 10  4  9  0  8  7]
 [ 9 10 10 10 10  0  9  8  5  9]
 [ 3  8  4  0  9  4  2  8  7  1]
 [ 4  7  6 10 10  4  8  8  5  4]] 

Label B with size of 10 : 00.014002
[[ 2 10 10 10 10  4  9  0  8  7]
 [ 9 10 10 10 10  0  9  8  5  9]
 [ 3  8  4  0  9  4  2  8  7  1]
 [ 4  7  6 10 10  4  8  8  5  4]] 

Label Flat with size of 10 : 00.020001
[[ 2 10 10 10 10  4  9  0  8  7]
 [ 9 10 10 10 10  0  9  8  5  9]
 [ 3  8  4  0  9  4  2  8  7  1]
 [ 4  7  6 10 10  4  8  8  5  4]] 

Label Convolve with size of 10 : 00.083996
[[ 2  2 10  8  4 10  9  0  8  7]
 [ 9 10  0  4  7 10  9 10 10  9]
 [ 3  8  4  0  9  4  2 10  7 10]
 [ 4  7 10  5  0  4  8 10  5  4]] 

OP希望将2x2x2矩阵的所有元素都设置为较高的值。
请注意,当前设置中的卷积设置了一些单个空格元素,而不是2x2x2矩阵模式。

下面是我的代码:

import numpy as np
from scipy.signal import convolve
from pandas import datetime as dt

def label_A(input_field):
    labeling_A = np.copy(input_field)
    labeling_test = np.zeros((input_field.shape))
    for i in range(0,input_field.shape[0]-1):
        for j in range(0,input_field.shape[1]-1):
            for k in range(0,input_field.shape[2]-1):
                test_unit = input_field[i:i+2,j:j+2,k:k+2]
                if set(np.unique(test_unit).astype(int)) >= set((1,2,3)):
                    labeling_test[i:i+2,j:j+2,k:k+2] = np.max(input_field)+1
                    labeling_A[labeling_test == np.max(input_field)+1] = np.max(input_field)+1
    return labeling_A


def label_B(input_field):
    labeling_B = np.copy(input_field)
    labeling_test = np.zeros((input_field.shape))
    input_max = np.max(input_field)+1
    for i in range(0,input_field.shape[0]-1):
        for j in range(0,input_field.shape[1]-1):
            for k in range(0,input_field.shape[2]-1):
                test_unit = input_field[i:i+2,j:j+2,k:k+2]
                if set(np.unique(test_unit).astype(int)) >= set((1,2,3)):
                    labeling_test[i:i+2,j:j+2,k:k+2] = input_max
                    labeling_B[labeling_test == input_max] = input_max
    return labeling_B


def label_Convolve(input_field):
    _filter =np.ones([2,2,2])
    replace_mat = np.ones(input_field.shape)
    input_max = np.max(input_field)+1
    for value in (1,2,3):
        value_counts = convolve((input_field==value),_filter,mode='same')
        replace_mat*=(value_counts>0)
    input_field[replace_mat==1] = input_max
    return input_field


def flat_mat(matrix):
    flat = matrix.flatten()
    dest_mat = np.copy(flat)
    mat_width = matrix.shape[0]
    mat_length = matrix.shape[1]
    mat_depth = matrix.shape[2]
    input_max = np.max(matrix)+1

    block = 0
    for w in range(mat_width*(mat_length)*(mat_depth-1)):
        if (w+1)%mat_width != 0:
            if (block+1)%mat_length == 0:
                pass
            else:
                set1 = flat[w:w+2]
                set2 = flat[w+mat_width:w+2+mat_width]
                set3 = flat[w+(mat_width*mat_length):w+(mat_width*mat_length)+2]
                set4 = flat[w+(mat_width*mat_length)+mat_width:w+(mat_width*mat_length)+mat_width+2]
                fullblock = np.array([set1, set2, set3, set4])
                blockset = np.unique(fullblock)
                if set(blockset) >= set((1,2,3)):
                    dest_mat[w:w+2] = input_max
                    dest_mat[w+mat_width:w+2+mat_width] = input_max
                    dest_mat[w+(mat_width*mat_length):w+(mat_width*mat_length)+2] = input_max
                    dest_mat[w+(mat_width*mat_length)+mat_width:w+(mat_width*mat_length)+mat_width+2] = input_max
        else:
            block += 1
    return_mat = dest_mat.reshape(mat_width, mat_length, mat_depth)
    return(return_mat)


def speedtest(matrix,matrixsize):
    starttime = dt.now()
    label_A_example = label_A(matrix)
    print(f'Label A with size of {matrixsize} : {dt.now() - starttime}')
    print(label_A_example[0][0:4], '\n')

    starttime = dt.now()
    label_B_example = label_B(matrix)
    print(f'Label B with size of {matrixsize} : {dt.now() - starttime}')
    print(label_B_example[0][0:4], '\n')

    starttime = dt.now()
    label_Inline_example = flat_mat(matrix)
    print(f'Label Flat with size of {matrixsize} : {dt.now() - starttime}')
    print(label_Inline_example[0][0:4], '\n')

    starttime = dt.now()
    label_Convolve_example = label_Convolve(matrix)
    print(f'Label Convolve with size of {matrixsize} : {dt.now() - starttime}')
    print(label_Convolve_example[0][0:4], '\n')

tests = 1 #each test will boost matrix size by 10
matrixsize = 10
for i in range(tests):
    example = np.random.randint(0, 10, size=(matrixsize, matrixsize, matrixsize))
    speedtest(example,matrixsize)
    matrixsize += 10