Python传感器数据存储

时间:2015-08-06 09:21:11

标签: python database serialization database-performance

我有简单的数据集(DateTime,int,float),每天增长到15k项目,在一天的高点,我每秒最多可以有5个额外的记录。最初我使用泡菜,这显然是一个坏主意(每秒5次倾倒15k物品太慢)。现在我开始查看不同的数据/日志记录存储选项,而且大量的选择让我感到不知所措。

我看到msgpack和ujson相当快,但我相信这会让我遇到同样的问题;我非常频繁地将数据附加到集合中,数据记录程序实际上并不需要了解以前的数据。

我的问题:我希望得到一些关于什么是合适选项的指示,我已经读过像redis,mongoDB和noSQL这样的内容,因为内存中看起来很快属性。或者我过度解决这个问题,我可以从一开始就使用像MySQL或SQLite这样的传统数据库吗?

判决:过度思考一个简单的问题,现在都解决了。

1 个答案:

答案 0 :(得分:1)

如果没有要求修改发布的数据,那么Cassandra可能是一个不错的选择,但对于Raspberry Pi来说,这可能有点重量级。看看SQLite,它应该能够非常轻松地处理您的存储需求,并且有一个驱动程序模块(sqliite3)作为标准库的一部分。

听起来好像随着时间的推移积累了越来越大的泡菜,数据库没有必要这样做,而且存储日期时间值非常容易。

不要被学习数据库的需要所吓倒 - 这听起来很复杂,但实际上它只是一种存储数据表的方法。