将2D数组复制到3D数组--Python / NumPy

时间:2016-01-03 12:15:33

标签: python arrays performance numpy vectorization

我年轻时编程了一点,但我从来都不是很好。我发现Python非常适合我想要做的事情。

我有一个Excel文件,其中包含我使用numpy genfromtxt函数读取的数据(64列,18496行)。我想把所有东西放在一个名为H的3D矩阵中。我使用三个循环来做到这一点,但我知道这不是最有效的。

data = np.genfromtxt(filename, delimiter = ";",skiprows = 11) 
H = np.zeros((N,N,Nt))

for k in np.arange(N):
    for l in np.arange(N):            
        for m in np.arange(Nt):    
            H[k,l,m] = data[m+Nt*k,l]

是否有切割刀(更快的计算方式)这样做。我虽然使用了numpy形状,但我无法做到。

由于

1 个答案:

答案 0 :(得分:5)

你可以重塑np.reshape&然后用np.transpose重新排列维度,如此 -

H = data.reshape(N,Nt,N).transpose(0,2,1)

而不是np.transpose,我们也可以使用np.swapaxes,因为基本上我们在那里交换axes 1,2,就像这样 -

H = data.reshape(N,Nt,N).swapaxes(1,2)

示例运行 -

In [300]: N = 2
     ...: Nt = 3
     ...: data = np.random.randint(0,9,(N*Nt,N))
     ...: 

In [301]: data
Out[301]: 
array([[3, 6],
       [7, 4],
       [8, 1],
       [8, 7],
       [4, 8],
       [2, 3]])

In [302]: H = np.zeros((N,N,Nt),dtype=data.dtype)
     ...: for k in np.arange(N):
     ...:     for l in np.arange(N):            
     ...:         for m in np.arange(Nt):    
     ...:             H[k,l,m] = data[m+Nt*k,l]
     ...:             

In [303]: H
Out[303]: 
array([[[3, 7, 8],
        [6, 4, 1]],

       [[8, 4, 2],
        [7, 8, 3]]])

In [304]: data.reshape(N,Nt,N).transpose(0,2,1)
Out[304]: 
array([[[3, 7, 8],
        [6, 4, 1]],

       [[8, 4, 2],
        [7, 8, 3]]])

运行时测试 -

In [8]: # Input
   ...: N = 10
   ...: Nt = 10*50
   ...: data = np.random.randint(0,9,(N*Nt,N))
   ...: 
   ...: def original_app(data):
   ...:     H = np.zeros((N,N,Nt),dtype=data.dtype)
   ...:     for k in np.arange(N):
   ...:         for l in np.arange(N):            
   ...:             for m in np.arange(Nt):    
   ...:                 H[k,l,m] = data[m+Nt*k,l]
   ...:     return H
   ...: 

In [9]: np.allclose(original_app(data),data.reshape(N,Nt,N).transpose(0,2,1))
Out[9]: True

In [10]: %timeit original_app(data)
10 loops, best of 3: 56.1 ms per loop

In [11]: %timeit data.reshape(N,Nt,N).transpose(0,2,1)
1000000 loops, best of 3: 1.25 µs per loop