Question

在pandas DataFrame列中存储具有多个条目（固定长度）的项目的最佳方法是什么？我在想类似3D位置矢量的东西。例如，如果我的DataFrame正在存储有关一堆物理对象的数据，则可能看起来像这样：

df = pandas.DataFrame({
    'type': [1, 2, 1, 1, 3],
    'mass': [1.1, 2.2, 3.3, 4.4, 5.5],
    'pos': [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]],
    'vel': [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]]
})
#    mass           pos  type           vel
# 0   1.1     [1, 2, 3]     1     [1, 2, 3]
# 1   2.2     [4, 5, 6]     2     [4, 5, 6]
# 2   3.3     [7, 8, 9]     1     [7, 8, 9]
# 3   4.4  [10, 11, 12]     1  [10, 11, 12]
# 4   5.5  [13, 14, 15]     3  [13, 14, 15]

在这里，列'pos'和'vel'是3D空间中对象的位置和速度。

我想到了几种选择，但似乎都不理想，甚至都不可行：

将Python列表存储为列中的值。这基本上就是我在上面的示例中显示的内容。不幸的是，这是非常低效的。

将该列分为几个不同的列：

df = pandas.DataFrame({
    'type': [1, 2, 1, 1, 3],
    'mass': [1.1, 2.2, 3.3, 4.4, 5.5],
    'x': [1, 4, 7, 10, 13],
    'y': [2, 5, 8, 11, 14],
    'z': [3, 6, 8, 12, 15],
    'vx': [1, 4, 7, 10, 13],
    'vy': [2, 5, 8, 11, 14],
    'vz': [3, 6, 8, 12, 15]
})
#    mass  type  vx  vy  vz   x   y   z
# 0   1.1     1   1   2   3   1   2   3
# 1   2.2     2   4   5   6   4   5   6
# 2   3.3     1   7   8   8   7   8   8
# 3   4.4     1  10  11  12  10  11  12
# 4   5.5     3  13  14  15  13  14  15

对于较大的属性，这似乎变得很麻烦。但是至少有效吗？

我还尝试为该列分配一个多维numpy数组，但不幸的是，pandas拒绝了：

pos = numpy.array([[11, 12, 13],
                   [22, 23, 24],
                   [33, 34, 35],
                   [44, 45, 46],
                   [55, 56, 57]])
df.loc[:, 'pos'] = pos
# ---------------------------------------------------------------------------
# ValueError                                Traceback (most recent call last)
# <ipython-input-228-2ee95dd5aa19> in <module>()
# ----> 1 df.loc[:, 'pos'] = pos
# 
# /opt/anaconda-3/anaconda3/lib/python3.6/site-packages/pandas/core/indexing.py in __setitem__(self, key, value)
#     177             key = com._apply_if_callable(key, self.obj)
#     178         indexer = self._get_setitem_indexer(key)
# --> 179         self._setitem_with_indexer(indexer, value)
#     180 
#     181     def _has_valid_type(self, k, axis):
# 
# /opt/anaconda-3/anaconda3/lib/python3.6/site-packages/pandas/core/indexing.py in _setitem_with_indexer(self, indexer, value)
#     561                     value = np.array(value, dtype=object)
#     562                     if len(labels) != value.shape[1]:
# --> 563                         raise ValueError('Must have equal len keys and value '
#     564                                          'when setting with an ndarray')
#     565 
# 
# ValueError: Must have equal len keys and value when setting with an ndarray

Answer 1

我喜欢这个

d = pd.concat([
    df[['mass', 'type']],
    pd.DataFrame(df.pos.tolist(), df.index, ['x', 'y', 'z']),
    pd.DataFrame(df.vel.tolist(), df.index, ['x', 'y', 'z'])
], axis=1, keys=['Scalar', 'Position', 'Velocity'])

d

  Scalar      Position         Velocity        
    mass type        x   y   z        x   y   z
0    1.1    1        1   2   3        1   2   3
1    2.2    2        4   5   6        4   5   6
2    3.3    1        7   8   9        7   8   9
3    4.4    1       10  11  12       10  11  12
4    5.5    3       13  14  15       13  14  15

您可以轻松地从顶层访问

d.Velocity

    x   y   z
0   1   2   3
1   4   5   6
2   7   8   9
3  10  11  12
4  13  14  15

或者做数学

(d.Velocity + d.Position).div(d.Scalar.mass, axis=0)

          x         y         z
0  1.818182  3.636364  5.454545
1  3.636364  4.545455  5.454545
2  4.242424  4.848485  5.454545
3  4.545455  5.000000  5.454545
4  4.727273  5.090909  5.454545

您仍然可以轻松访问适当的Numpy数组

d.Position.values

array([[ 1,  2,  3],
       [ 4,  5,  6],
       [ 7,  8,  9],
       [10, 11, 12],
       [13, 14, 15]])

Answer 2

使用选项＃2：以整数系列跨多列存储坐标。这是对熊猫有意义的唯一选择。

您应考虑的主要属性是所得系列的dtype。使用选项＃1，您将拥有object系列，无非就是一系列指针。使用list同样可以很好地实现这一目标，并且您失去了执行矢量化计算的所有功能。

使用选项＃3，Pandas困惑于尝试将NumPy数组序列分配给单个序列。该错误本身表明Pandas并非设计用于这种方式。

在Pandas DataFrame中存储多维属性（列）

2 个答案: