使用pandas类别计算

时间:2018-05-18 11:40:02

标签: python pandas

是否仍然可以使用分类dtypes进行计算?

如果没有,我怎样才能减少具有分类整数的RAM使用率(非常大的10m +条目表,只有~500个唯一整数)。所有计算必须以1个数组完成。

df = pd.DataFrame({'a':[1,2,3,2,1,3,4,5,6,7],
                   'b':[1,2,3,2,1,3,4,5,6,7]})
df['a'] = df['a'].astype('category')
df['a'] * df['b']

在pandas 0.20.3中:

Out[23]: 
0     1
1     4
2     9
3     4
4     1
5     9
6    16
7    25
8    36
9    49
dtype: int64

这不再适用于较新的pandas版本(例如v0.23.0

TypeError: Series cannot perform the operation *

我现在需要为更新的pandas版本重构我的代码,但有没有办法维护提供的减少RAM消耗类别?

1 个答案:

答案 0 :(得分:1)

作为现在的解决方法,您可以使用numpy's basic integer types之一:

import numpy as np
df = pd.DataFrame({'a':[1,2,3,2,1,3,4,5,6,7],
                   'b':[1,2,3,2,1,3,4,5,6,7]})
df['a'] = df['a'].astype(np.int8)
df['b'] = df['b'].astype(np.int8)
>>> df['a'] * df['b']
0     1
1     4
2     9
3     4
4     1
5     9
6    16
7    25
8    36
9    49
dtype: int8

请注意,这会让您不必担心溢出。