Question

是否仍然可以使用分类dtypes进行计算？

如果没有，我怎样才能减少具有分类整数的RAM使用率（非常大的10m +条目表，只有~500个唯一整数）。所有计算必须以1个数组完成。

df = pd.DataFrame({'a':[1,2,3,2,1,3,4,5,6,7],
                   'b':[1,2,3,2,1,3,4,5,6,7]})
df['a'] = df['a'].astype('category')
df['a'] * df['b']

在pandas 0.20.3中：

Out[23]: 
0     1
1     4
2     9
3     4
4     1
5     9
6    16
7    25
8    36
9    49
dtype: int64

这不再适用于较新的pandas版本（例如v0.23.0）

TypeError: Series cannot perform the operation *

我现在需要为更新的pandas版本重构我的代码，但有没有办法维护提供的减少RAM消耗类别？

Answer 1

作为现在的解决方法，您可以使用numpy's basic integer types之一：

import numpy as np
df = pd.DataFrame({'a':[1,2,3,2,1,3,4,5,6,7],
                   'b':[1,2,3,2,1,3,4,5,6,7]})
df['a'] = df['a'].astype(np.int8)
df['b'] = df['b'].astype(np.int8)
>>> df['a'] * df['b']
0     1
1     4
2     9
3     4
4     1
5     9
6    16
7    25
8    36
9    49
dtype: int8

请注意，这会让您不必担心溢出。

使用pandas类别计算

1 个答案: