我有一个任意级别的嵌套字典,其中包含字段名称作为键,以及与值相同大小的1-D numpy数组,例如:
d = {'a' : arr1, 'b' : {'b1' : arr2, 'b2' : {'c' : arr3}}}
是否有一种简单的方法可以从中构建一个反映原始层次结构的numpy结构化数组?此外,如果给出OrderedDict
,最好保留字段名称顺序。通常的np.array
,np.asarray
,np.rec.array
函数似乎没有帮助。
答案 0 :(得分:2)
大多数情况下,这可以分两步完成。构造与字典布局对应的复合dtype。然后用字典中的数组填充一个空数组。
构建示例字典:
In [94]: arr1=np.arange(10)
In [95]: arr2=np.arange(100.,110.)
In [96]: arr3=np.arange(200,210)
In [98]: d={'a':arr1, 'b':{'b1':arr2, 'b2':{'c':arr3}}}
此函数构造dtype:
def mkdt(d):
ll = []
for k,v in d.items():
if isinstance(v,np.ndarray):
ll.append((k,v.dtype))
else:
ll.append((k,mkdt(v)))
return ll
In [176]: np.dtype(foo(d))
Out[176]: dtype([('a', '<i4'), ('b', [('b1', '<f8'), ('b2', [('c', '<i4')])])])
此功能可将数据值从d
复制到A
:
def copy_values(d, A):
if A.dtype.names:
for n in A.dtype.names:
copy_values(d[n], A[n])
else:
A[:]=d
In [264]: A=np.zeros(d['a'].shape,dt)
In [265]: copy_values(d,A)
In [266]: A
Out[266]:
array([(0, (100.0, (200,))), (1, (101.0, (201,))), (2, (102.0, (202,))),
(3, (103.0, (203,))), (4, (104.0, (204,))), (5, (105.0, (205,))),
(6, (106.0, (206,))), (7, (107.0, (207,))), (8, (108.0, (208,))),
(9, (109.0, (209,)))],
dtype=[('a', '<i4'), ('b', [('b1', '<f8'), ('b2', [('c', '<i4')])])])
(早期解决方案)
这是一个交互式(ipython)会话,它将数据从像你这样的字典传输到结构化数组。
In [94]: arr1=np.arange(10)
In [95]: arr2=np.arange(100,110)
In [96]: arr3=np.arange(200,210)
In [98]: d={'a':arr1, 'b':{'b1':arr2, 'b2':{'c':arr3}}}
匹配的dtype:。
In [100]: dt=np.dtype([('a','i'), ('b', np.dtype([('b1','i'),('b2',np.dtype([('c','i')]))]))])
创建一个正确大小和类型的空数组,并填充字段
In [102]: A=np.zeros((10,),dt)
In [104]: A['a']=d['a']
In [105]: A['b']['b1']=d['b']['b1']
In [106]: A['b']['b2']['c']=d['b']['b2']['c']
In [107]: A
Out[107]:
array([(0, (100, (200,))), (1, (101, (201,))), (2, (102, (202,))),
(3, (103, (203,))), (4, (104, (204,))), (5, (105, (205,))),
(6, (106, (206,))), (7, (107, (207,))), (8, (108, (208,))),
(9, (109, (209,)))],
dtype=[('a', '<i4'), ('b', [('b1', '<i4'), ('b2', [('c', '<i4')])])])
如果所有字段都是相同的dtype(此处为int),则此数组也可以构建为2d数组上的视图:
np.column_stack([arr1,arr2,arr3]).view(dt).ravel()
这是有效的,因为(10,3)
数组与结构化数组具有相同的数据缓冲区布局。
from numpy.lib import recfunctions
可以访问一些实用功能。
例如, recfunctions.recursive_fill_fields
可以将数据从A
复制到同一dtype的另一个数组(但不能复制到column_stack
。它使用递归来处理嵌套的dtype。
In [149]: recfunctions.flatten_descr(dt)
Out[149]: (('a', dtype('int32')), ('b1', dtype('int32')), ('c', dtype('int32')))
使你的筑巢变平。
In [150]: recfunctions.get_fieldstructure(dt)
Out[150]: {'a': [], 'b': [], 'b1': ['b'], 'b2': ['b'], 'c': ['b', 'b2']}
这些函数如何处理复杂的dtypes可能比它们实际做的更有用。看看代码。