我正在考虑将我定期更新的一些excel文件转换为数据库。这些文件有很多列。不幸的是,我正在研究的许多数据库,例如Access和PostreSQL,都有非常低的列限制。 MySQL的价格更高,但我担心随着我的数据集扩展,我也可能会打破这个限制。
基本上,我想知道哪些(开源)数据库在处理这类问题时是有效的。
对于数据的描述,我有一些excel文件(少于10个),每个文件都包含一些公司随时间推移的特定信息。它在excel文件中总计大约100mb。这些公司在列中(当前大约3500个),日期在行中(目前大约270个,但是对于某些文件切换到更高的频率可能很容易导致它膨胀)。
最重要的查询可能是在特定日期获取每家公司的数据并将其放在矩阵中。但是,我也可能会运行查询以获取特定公司在每个日期的特定数据的所有数据。
将日期更改为更高的频率也是我对转置数据并不感兴趣的原因(无论如何,270次访问限制,但增加频率将远远超过MySQL的列限制)。另一个替代方案可能是更改它,以便每个公司都有自己的excel文件(这样我将列限制为少于10的数量),但是为了更新数据,这是非常笨重的。
答案 0 :(得分:3)
这似乎是乞求分手!
如何使用如下的架构:
Firms
id
name
Dates
id
date
Data_Points
id
firm_id
date_id
value
这种去组合的架构将使报告更容易。
对于报告,您可以使用
等查询轻松获取所有值的流从customers_points中选择customers.name,dates.date,data_points.value,在firm.id = data_points.firm_id上将join join日期保留在dates.id = data_points.date_id