什么db / fileformat用于追加,LIFO,主要是从python脚本读取操作?

时间:2012-02-15 09:09:21

标签: python database append

我将收到每日产品价格清单,我需要:

  • 存储它(单个进程,每晚一次,如果需要几个小时无关紧要,读取停止,所有数据都可以一次性写入)
  • 快速阅读给定产品的最新价格(多线程网络应用,必须快速)
  • 有时读取给定产品的整个价格历史记录(cron作业脚本绘制图形,如果它很慢则无关紧要)
  • 保持整个历史多年(永远不会忘记任何事情)
  • 如果夜间(写)作业是一个不依赖外部服务的简单python脚本,则
  • 奖励积分
  • 只是要明确:除了夜间作业之外没有其他写入,后者在单个进程中运行,并且可以在实际db / file中禁用读取的情况下运行

我正在寻找最有效的方法来实现这一目标,编程语言是Python-2.7,如果需要,可以使用3.x.

我正在考虑在[可能是多个]文件[s]上存储具有完整历史记录的实际数据,并且可能仅使用每个项目的最新价格更新MySQL数据库(对于要使用的Web应用程序) 。该文件可能是sqlite(稳定,经过验证,对我们来说足够快“。奖励:可以通过我们喜欢的SQLAlchemy使用)或其他一些文件格式(CDB或如果有足够的理由,我可以管理某种“轮换”(即每年一个文件),如果需要快速读取最新数据。

1 个答案:

答案 0 :(得分:0)

我会从sqlite开始,因为它直接包含在python中。 在SQLAlchemy上进行操作,并且应该可以根据需要轻松交换底层数据库。

使用它进行测试,如果不够,请转移到更强大的数据库。 (我更喜欢postgres)。