在python中使用的最佳数据结构,用于存储命名数据的三维立方体

时间:2015-08-29 17:01:45

标签: python numpy pandas data-structures data-analysis

我想对我选择的数据结构提供一些反馈。我有一个特定电压值的2D X-Y电流值网格。我有几个电压步骤,并将数据组织成X-Y-Voltage的立方体。我在这里说明了轴:http://imgur.com/FVbluwB

我目前在python词典中使用numpy数组来处理我正在扫描的不同类型的晶体管。我不确定这是否是最好的方法。我看过熊猫,但我也不确定这对熊猫来说是不是很好。希望有人可以帮助我,所以我可以学会做pythonic!生成一些测试数据的代码和结束结构如下。

谢谢!

import numpy as np

#make test data

test__transistor_data0 = {"SNMOS":np.random.randn(3,256,256),"SPMOS":np.random.randn(4,256,256), "WPMOS":np.random.randn(6,256,256),"WNMOS":np.random.randn(6,256,256)}
test__transistor_data1 = {"SNMOS":np.random.randn(3,256,256), "SPMOS":np.random.randn(4,256,256), "WPMOS":np.random.randn(6,256,256), "WNMOS":np.random.randn(6,256,256)}
test__transistor_data2 = {"SNMOS":np.random.randn(3,256,256), "SPMOS":np.random.randn(4,256,256), "WPMOS":np.random.randn(6,256,256), "WNMOS":np.random.randn(6,256,256)}
test__transistor_data3 = {"SNMOS":np.random.randn(3,256,256), "SPMOS":np.random.randn(4,256,256), "WPMOS":np.random.randn(6,256,256), "WNMOS":np.random.randn(6,256,256)}


quadrant_data = {"ne":test__transistor_data0,"nw":test__transistor_data1,"sw":test__transistor_data2,"se":test__transistor_data3} 

1 个答案:

答案 0 :(得分:4)

可能值得查看xarray,它类似于{并且部分基于pandas,但是专为N维数据而设计。

它的两个基本容器是DataArray,它是一个带标签的ND数组,还有一个Dataset,它是DataArray s的容器。

In [29]: s1 = xray.DataArray(np.random.randn(3,256,256), dims=['voltage', 'x', 'y'])

In [30]: s2 = xray.DataArray(np.random.randn(3,256,256), dims=['voltage', 'x', 'y'])

In [32]: ds = xray.Dataset({'SNMOS': s1, 'SPMOS': s2})

In [33]: ds
Out[33]: 
<xray.Dataset>
Dimensions:  (voltage: 3, x: 256, y: 256)
Coordinates:
  * voltage  (voltage) int64 0 1 2
  * x        (x) int64 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 ...
  * y        (y) int64 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 ...
Data variables:
    SPMOS    (voltage, x, y) float64 -1.363 2.446 0.3585 -0.8243 -0.814 ...
    SNMOS    (voltage, x, y) float64 1.07 2.327 -1.435 0.4011 0.2379 2.07 ...

两个容器都有很多不错的功能(参见文档),例如,如果你想知道每个转换器的最大值x,在第一个电压等级,它就是这样的:

In [39]: ds.sel(voltage=0).max(dim='x').max()
Out[39]: 
<xray.Dataset>
Dimensions:  ()
Coordinates:
    *empty*
Data variables:
    SPMOS    float64 4.175
    SNMOS    float64 4.302