Question

我在理解为什么以下方法不起作用时遇到了一些麻烦：

np.dtype(dict(names="10", formats=np.float64))

我一直在努力解决这个问题，因为我想让recfunctions中的numpy功能正常工作，但由于numpy.dtype的问题，我没有成功。这是我目前收到的错误：

dtype = np.dtype(dict(names=names, formats=formats))
ValueError: all items in the dictionary must have the same length.

我想获得一个数据结构，它将包含一种记录数组，每个指定字段中包含多列数据 - 类似于一个字典，其中每个值是一个二维数组或几列数据。通常，数据可能最终为~6列，每个键或记录约2000行，约200条记录。

以下是我在一个完整的脚本中尝试过的内容:(虽然仍然给出相同的错误）

import numpy as np
from numpy.lib import recfunctions


# Just function to make random data
def make_data(i, j):
    # some arbitrary function to show that the number of columns may change, but rows stay the same length
    if i%3==0:
        data = np.array([[i for i in range(0,1150)]*t for t in range(0,3)])
    else:
        data = np.array([[i for i in range(0,1150)]*t for t in range(0,6)])
    return data

def data_struct(low_ij, high_ij):

    """
    Data Structure to contain several columns of data for different combined values between "low ij" and "high ij"

    Key: "(i, j)"
    Value: numpy ndarray (multidimensional)
    """

    for i in range(0,low_ij+1):
        for j in range(0,high_ij+1):
            # Get rid of some of the combinations
            # (unimportant)
            if(i<low_ij and j<low_ij):
                break
            elif(i<j):
                break

            # Combinations of interest to create structure
            else:
                names = str(i)+str(j)
                formats = np.float64
                data = np.array(make_data(i, j))
                try:
                    data_struct = recfunctions.append_fields(base=data_struct, names=names, data=data, dtypes=formats)
                # First loop will assign data_struct using this exception,
                # then proceed to use the try statement to add on the rest of the data
                except UnboundLocalError:
                    dtype = np.dtype(dict(names=names, formats=formats))
                    data_struct = np.array(data, dtype=dtype)

    return data_struct

Answer 1

您必须传递值列表和格式列表，而不是单个值和单个格式。如果你调试问题，你会发现

type(names)   # result is <type 'str'>
type(formats) # result is <type 'type'>

然后，dict被初始化为

{'formats': numpy.float64, 'names': '30'}

虽然formats和names中的每一个都应该是一个列表。

编辑：此外，请注意formats应该是字符串列表，例如['float64','u8']等。

Answer 2

看起来你正在尝试构建一个结构化数组，如：

In [152]: names=['1','2','3','4']
In [153]: formats=[(float,2),(float,3),(float,2),(float,3)]
In [154]: dt=np.dtype({'names':names, 'formats':formats})
In [156]: ds=np.zeros(5, dtype=dt)

In [157]: ds
Out[157]: 
array([([0.0, 0.0], [0.0, 0.0, 0.0], [0.0, 0.0], [0.0, 0.0, 0.0]),
       ([0.0, 0.0], [0.0, 0.0, 0.0], [0.0, 0.0], [0.0, 0.0, 0.0]),
       ([0.0, 0.0], [0.0, 0.0, 0.0], [0.0, 0.0], [0.0, 0.0, 0.0]),
       ([0.0, 0.0], [0.0, 0.0, 0.0], [0.0, 0.0], [0.0, 0.0, 0.0]),
       ([0.0, 0.0], [0.0, 0.0, 0.0], [0.0, 0.0], [0.0, 0.0, 0.0])], 
      dtype=[('1', '<f8', (2,)), ('2', '<f8', (3,)), ('3', '<f8', (2,)), 
           ('4', '<f8', (3,))])
In [159]: ds['1']=np.arange(10).reshape(5,2)
In [160]: ds['2']=np.arange(15).reshape(5,3)

换句话说，多个字段，每个字段具有不同数量的列数＆＃39; （形状）。

这里我创建初始化整个数组，然后单独填充字段。这似乎是创建复杂结构化数组的最直接方式。

您正在尝试逐步构建此类数组，从一个字段开始，并使用recfunctions.append_fields

添加新字段

In [162]: i=1; 
   ds2 = np.array(np.arange(5),dtype=np.dtype({'names':[str(i)],'formats':[float]}))
In [164]: i+=1;
   ds2=recfunctions.append_fields(base=ds2,names=str(i),dtypes=float,
      data=np.arange(5), usemask=False,asrecarray=False)
In [165]: i+=1;
   ds2=recfunctions.append_fields(base=ds2,names=str(i),dtypes=float,
      data=np.arange(5), usemask=False,asrecarray=False)

In [166]: ds2
Out[166]: 
array(data = [(0.0, 0.0, 0.0) (1.0, 1.0, 1.0) (2.0, 2.0, 2.0) 
    (3.0, 3.0, 3.0) (4.0, 4.0, 4.0)], 
    dtype = [('1', '<f8'), ('2', '<f8'), ('3', '<f8')])

当附加的字段都有1＆＃39;列时，这是有效的。通过屏蔽，它们甚至可以具有不同数量的行数＃。但是当我尝试改变内部形状时，它会在追踪场地时遇到问题。 marge_arrays不再成功。

即使我们可以使用增量recfunctions方法，它也可能比初始化和填充方法慢。即使你一开始就不知道每个字段的形状，你可以在字典中收集所有字段，并从中组装数组。这种结构化数组不比字典更紧凑或更有效。它只是使某些样式的数据访问（跨字段）更方便。

numpy dtype错误 - （结构化数组创建）

2 个答案: