在python中使用大型数据集的最佳方法

Question

我正在使用大型财务数据集（目前为15 GB，但之后将为200 GB）。什么是与它合作的最佳方式。特别是，我想做一些统计测试并使用毫秒数据生成一些图表。到目前为止，我已经使用sqlite3来轻松实现，但它似乎无法处理文件的大小。我正在使用PyCharm（不确定它是否有帮助）

Answer 1

如果你想管理大量的数据（实际上我不会将sqlite用于原型或运行测试之外的其他东西），那么

sqlite不是一个好的选择。

您可以尝试使用amazon RDS存储数据库http://aws.amazon.com/es/rds/，并在亚马逊提供的其中一个数据库引擎之间进行选择。

至于使用Python，我认为你应该让数据库引擎处理请求，并使用python来生成图形。