是否仍然可以使用分类dtypes进行计算?
如果没有,我怎样才能减少具有分类整数的RAM使用率(非常大的10m +条目表,只有~500个唯一整数)。所有计算必须以1个数组完成。
df = pd.DataFrame({'a':[1,2,3,2,1,3,4,5,6,7],
'b':[1,2,3,2,1,3,4,5,6,7]})
df['a'] = df['a'].astype('category')
df['a'] * df['b']
在pandas 0.20.3
中:
Out[23]:
0 1
1 4
2 9
3 4
4 1
5 9
6 16
7 25
8 36
9 49
dtype: int64
这不再适用于较新的pandas版本(例如v0.23.0
)
TypeError: Series cannot perform the operation *
我现在需要为更新的pandas版本重构我的代码,但有没有办法维护提供的减少RAM消耗类别?
答案 0 :(得分:1)
作为现在的解决方法,您可以使用numpy's basic integer types之一:
import numpy as np
df = pd.DataFrame({'a':[1,2,3,2,1,3,4,5,6,7],
'b':[1,2,3,2,1,3,4,5,6,7]})
df['a'] = df['a'].astype(np.int8)
df['b'] = df['b'].astype(np.int8)
>>> df['a'] * df['b']
0 1
1 4
2 9
3 4
4 1
5 9
6 16
7 25
8 36
9 49
dtype: int8
请注意,这会让您不必担心溢出。