将行附加到NumPy记录数组

时间:2009-11-13 15:49:39

标签: python numpy

有没有办法在NumPy rec.array()中追加一行?例如,

x1=np.array([1,2,3,4])
x2=np.array(['a','dd','xyz','12'])
x3=np.array([1.1,2,3,4])
r = np.core.records.fromarrays([x1,x2,x3],names='a,b,c')

append(r,(5,'cc',43.0),axis=0)

最简单的方法是将所有列提取为nd.array()类型,将单独的元素添加到每个列,然后重建rec.array()。遗憾的是,这种方法效率低下。有没有另外的方法来分离重建rec.array()?

干杯,

3 个答案:

答案 0 :(得分:6)

您可以就地调整numpy数组的大小。这比转换到列表然后回到numpy数组更快,并且它也使用更少的内存。

print (r.shape)
# (4,)
r.resize(5)   
print (r.shape)
# (5,)
r[-1] = (5,'cc',43.0)
print(r)

# [(1, 'a', 1.1000000000000001) 
#  (2, 'dd', 2.0) 
#  (3, 'xyz', 3.0) 
#  (4, '12', 4.0)
#  (5, 'cc', 43.0)]

如果没有足够的内存来就地扩展阵列,则调整大小(或附加)操作可能会强制NumPy为全新阵列分配空间并将旧数据复制到新位置。当然,这很慢,所以如果可能的话,你应尽量避免使用resizeappend。相反,从一开始就预先分配足够大小的数组(即使比最终必要的大一些)。

答案 1 :(得分:0)

np.core.records.fromrecords(r.tolist()+[(5,'cc',43.)])

这仍然是分裂,这次按行。也许更好?

答案 2 :(得分:0)

扩展@ unutbu的答案我发布了一个附加任意行数的更通用的函数:

def append_rows(arrayIN, NewRows):
    """Append rows to numpy recarray.

    Arguments:
      arrayIN: a numpy recarray that should be expanded
      NewRows: list of tuples with the same shape as `arrayIN`

    Idea: Resize recarray in-place if possible.
    (only for small arrays reasonable)

    >>> arrayIN = np.array([(1, 'a', 1.1), (2, 'dd', 2.0), (3, 'x', 3.0)],
                           dtype=[('a', '<i4'), ('b', '|S3'), ('c', '<f8')])
    >>> NewRows = [(4, '12', 4.0), (5, 'cc', 43.0)]
    >>> append_rows(arrayIN, NewRows)
    >>> print(arrayIN)
    [(1, 'a', 1.1) (2, 'dd', 2.0) (3, 'x', 3.0) (4, '12', 4.0) (5, 'cc', 43.0)]

    Source: http://stackoverflow.com/a/1731228/2062965
    """
    # Calculate the number of old and new rows
    len_arrayIN = arrayIN.shape[0]
    len_NewRows = len(NewRows)
    # Resize the old recarray
    arrayIN.resize(len_arrayIN + len_NewRows, refcheck=False)
    # Write to the end of recarray
    arrayIN[-len_NewRows:] = NewRows

注释

我想强调的是,预先分配一个至少足够大的数组是最合理的解决方案(如果您对数组的最终大小有所了解)!预分配也为您节省了大量时间。