面向列的数据库用于财务数据分析

时间:2012-11-13 19:39:24

标签: database postgresql nosql finance

我目前有很多想要分析和计算的财务数据。我已经构建了一个从平面文件中读取的数据系统,并进行了一些体面的智能缓存以保持我想要的性能。但我开始为这个系统提供大量数据......

我目前正在考虑使用POSTGres并使用类似这样的架构:

Table: Things
Fields: T_id, Row, Sub-Row, Column, Resolution, Readable-Name, Meta

Table: Data
Fields: d_id, T_id, timestamp, value

我想知道如果我的数据表有数十亿行,POSTGres是否会使用上述模式。

我的另一个想法是使用面向列的数据库,但我似乎找不到任何好的开源源数据库。 Cassandra真的不适合这种情况,因为我阅读的内容远不止写作。

2 个答案:

答案 0 :(得分:1)

取决于您的期望 - PostgreSQL可能可以在您的架构上处理此查询,但它可以是几分钟或几小时的查询 - 取决于已处理的行 - 但列存储数据库可以更快约10倍 - 只是PostgreSQL是关系OLTP数据库和您的架构没有很好地规范化,可能您更喜欢OLAP。

有一些开源列存储数据库,如MonetDB或LucidDB,但它们不是来自PostgreSQL的空间。只有商业数据库Vertica。您可以查看MySQL引擎http://www.mysqlperformanceblog.com/2010/08/16/testing-mysql-column-stores/

答案 1 :(得分:0)

答案取决于您的预算。

以下是我们在实践中使用的解决方案列表(从便宜到昂贵):

的MongoDB PostgreSQL的 InfiniDB KDB +