来自任意级嵌套字典的numpy结构化数组

时间:2015-09-01 10:07:55

标签: python arrays numpy dictionary nested

我有一个任意级别的嵌套字典,其中包含字段名称作为键,以及与值相同大小的1-D numpy数组,例如:

d = {'a' : arr1, 'b' : {'b1' : arr2, 'b2' : {'c' : arr3}}}

是否有一种简单的方法可以从中构建一个反映原始层次结构的numpy结构化数组?此外,如果给出OrderedDict,最好保留字段名称顺序。通常的np.arraynp.asarraynp.rec.array函数似乎没有帮助。

1 个答案:

答案 0 :(得分:2)

大多数情况下,这可以分两步完成。构造与字典布局对应的复合dtype。然后用字典中的数组填充一个空数组。

构建示例字典:

In [94]: arr1=np.arange(10)
In [95]: arr2=np.arange(100.,110.)
In [96]: arr3=np.arange(200,210)
In [98]: d={'a':arr1, 'b':{'b1':arr2, 'b2':{'c':arr3}}}

此函数构造dtype:

def mkdt(d):
    ll = []
    for k,v in d.items():
        if isinstance(v,np.ndarray):
            ll.append((k,v.dtype))
        else:
            ll.append((k,mkdt(v)))
    return ll

In [176]: np.dtype(foo(d))
Out[176]: dtype([('a', '<i4'), ('b', [('b1', '<f8'), ('b2', [('c', '<i4')])])])

此功能可将数据值从d复制到A

def copy_values(d, A):
    if A.dtype.names:
        for n in A.dtype.names:
            copy_values(d[n], A[n])
    else:
        A[:]=d

In [264]: A=np.zeros(d['a'].shape,dt)    
In [265]: copy_values(d,A)
In [266]: A
Out[266]: 
array([(0, (100.0, (200,))), (1, (101.0, (201,))), (2, (102.0, (202,))),
       (3, (103.0, (203,))), (4, (104.0, (204,))), (5, (105.0, (205,))),
       (6, (106.0, (206,))), (7, (107.0, (207,))), (8, (108.0, (208,))),
       (9, (109.0, (209,)))], 
      dtype=[('a', '<i4'), ('b', [('b1', '<f8'), ('b2', [('c', '<i4')])])])

(早期解决方案)

这是一个交互式(ipython)会话,它将数据从像你这样的字典传输到结构化数组。

In [94]: arr1=np.arange(10)
In [95]: arr2=np.arange(100,110)
In [96]: arr3=np.arange(200,210)
In [98]: d={'a':arr1, 'b':{'b1':arr2, 'b2':{'c':arr3}}}

匹配的dtype:。

In [100]: dt=np.dtype([('a','i'), ('b', np.dtype([('b1','i'),('b2',np.dtype([('c','i')]))]))])

创建一个正确大小和类型的空数组,并填充字段

In [102]: A=np.zeros((10,),dt)    
In [104]: A['a']=d['a']
In [105]: A['b']['b1']=d['b']['b1']
In [106]: A['b']['b2']['c']=d['b']['b2']['c']

In [107]: A
Out[107]: 
array([(0, (100, (200,))), (1, (101, (201,))), (2, (102, (202,))),
       (3, (103, (203,))), (4, (104, (204,))), (5, (105, (205,))),
       (6, (106, (206,))), (7, (107, (207,))), (8, (108, (208,))),
       (9, (109, (209,)))], 
      dtype=[('a', '<i4'), ('b', [('b1', '<i4'), ('b2', [('c', '<i4')])])])

如果所有字段都是相同的dtype(此处为int),则此数组也可以构建为2d数组上的视图:

np.column_stack([arr1,arr2,arr3]).view(dt).ravel()

这是有效的,因为(10,3)数组与结构化数组具有相同的数据缓冲区布局。

from numpy.lib import recfunctions

可以访问一些实用功能。

例如,

recfunctions.recursive_fill_fields可以将数据从A复制到同一dtype的另一个数组(但不能复制到column_stack。它使用递归来处理嵌套的dtype。

In [149]: recfunctions.flatten_descr(dt)
Out[149]: (('a', dtype('int32')), ('b1', dtype('int32')), ('c', dtype('int32')))

使你的筑巢变平。

In [150]: recfunctions.get_fieldstructure(dt)
Out[150]: {'a': [], 'b': [], 'b1': ['b'], 'b2': ['b'], 'c': ['b', 'b2']}

这些函数如何处理复杂的dtypes可能比它们实际做的更有用。看看代码。