NumPy可以处理多少数据

时间:2012-03-12 13:22:07

标签: numpy pytables

我正在尝试使用PyTablesNumPy

你能告诉我后者能处理多少数据吗?

我目前正在处理1.4亿行的数据,并想知道NumPy是否可以处理它。如果它至少可以处理1.4亿行的2列,那就太好了。现在我使用64位版本的Windows和8 GB的RAM。

如果NumPy无法处理这么多数据,那么统计和机器学习算法实现的可能替代方案是什么?

1 个答案:

答案 0 :(得分:3)

140M远低于2 ** 31,所以这应该适用于32位Python / Numpy,只要有足够的内存。您可以使用

轻松尝试
>>> import numpy as np
>>> X = np.empty((140e6, 2))

标准dtype=np.float64的内存使用大约为8字节×140M×2 = 2GB。如果您使用dtype=np.float32,则可以保存因子2.