Question

我有一个由三个大型数组组成的Numpy ndarray，我只想将路径存储到某处生成数据的文件中。一些玩具数据：

A = array([[  6.52479351e-01,   6.54686928e-01,   6.56884432e-01, ...,
              2.55901861e+00,   2.56199503e+00,   2.56498647e+00],
           [             nan,              nan,   9.37914686e-17, ...,
              1.01366425e-16,   3.20371075e-16,  -6.33655223e-17],
           [             nan,              nan,   8.52057308e-17, ...,
              4.26943463e-16,   1.51422386e-16,   1.55097437e-16]],                 
           dtype=float32)

我不能将它作为数组附加到ndarray，因为它需要与其他三个相同的长度。

我可以添加np.zeros(len(A[0]))并将第一个值作为字符串，以便我可以使用A [-1] [0]检索它，但这看起来很荒谬。

是否有一些元数据键我可以用来存储像/Documents/Data/foobar.txt'这样的字符串，所以我可以用A.metadata.comment之类的内容检索它？

谢谢！

Answer 1

TobiasR的评论是最简单的方法，但您也可以将ndarray子类化。请参阅numpy documentation或this question

class MetaArray(np.ndarray):
    """Array with metadata."""

    def __new__(cls, array, dtype=None, order=None, **kwargs):
        obj = np.asarray(array, dtype=dtype, order=order).view(cls)                                 
        obj.metadata = kwargs
        return obj

    def __array_finalize__(self, obj):
        if obj is None: return
        self.metadata = getattr(obj, 'metadata', None)

使用示例：

>>> a = MetaArray([1,2,3], comment='/Documents/Data/foobar.txt')
>>> a.metadata
{'comment': '/Documents/Data/foobar.txt'}

Answer 2

听起来您可能有兴趣以数据的持久方式存储元数据。如果是这样，HDF5是用作存储容器的绝佳选择。

例如，让我们使用h5py创建一个数组并将其保存为包含一些元数据的HDF文件：

import numpy as np
import h5py

some_data = np.random.random((100, 100))

with h5py.File('data.hdf', 'w') as outfile:
    dataset = outfile.create_dataset('my data', data=some_data)

    dataset.attrs['an arbitrary key'] = 'arbitrary values'
    dataset.attrs['foo'] = 10.2

然后我们可以回读：

import h5py

with h5py.File('data.hdf', 'r') as infile:
    dataset = infile['my data']
    some_data = dataset[...] # Load it into memory. Could also slice a subset.

    print dataset.attrs['an arbitrary key']
    print dataset.attrs['foo']

正如其他人所提到的，如果您只关心将数据+元数据存储在内存中，那么更好的选择是dict或简单的包装类。例如：

class Container:
    def __init__(self, data, **kwargs):
        self.data = data
        self.metadata = kwargs

当然，这不会直接表现为numpy数组，但是继承ndarrays通常是个坏主意。（你可以，但很容易做错。你几乎总是设计一个将数组存储为属性的类。）

更好的是，让您正在执行与上述示例类似的类的方法。例如：

import scipy.signal
import numpy as np

class SeismicCube(object):
    def __init__(self, data, bounds, metadata=None):
        self.data = data
        self.x0, self.x1, self.y0, self.y1, self.z0, self.z1= bounds
        self.bounds = bounds
        self.metadata = {} if metadata is None else metadata

    def inside(self, x, y, z):
        """Test if a point is inside the cube."""
        inx = self.x0 >= x >= self.x1
        iny = self.y0 >= y >= self.y1
        inz = self.z0 >= z >= self.z1
        return inx and iny and inz

    def inst_amp(self):
        """Calculate instantaneous amplitude and return a new SeismicCube."""
        hilb = scipy.signal.hilbert(self.data, axis=2)
        data = np.hypot(hilb.real, hilb.imag)
        return type(self)(data, self.bounds, self.metadata)

向Numpy ndarray添加元数据评论

2 个答案: