处理大量数据(约4亿条记录)

时间:2013-02-26 06:12:21

标签: mysql database networking bigdata

我有一个大数据集(表)存储了用户ID字段,日期字段,国家/地区字段(例如USA,FRA等)以及其他字段

| User ID   |    Date    |  Country  | Other Fields ... |
|-----------|------------|-----------|------------------|
| 1         | 2013-2-1   |    USA    |    ...           |
| 2         | 2013-2-1   |    FRA    |    ...           |
| 3         | 2013-2-2   |    GBK    |    ...           |

数据结构很简单,我想传递日期,国家和其他可能的字段, 并查询答案。

问题是 4亿“的记录,如果我使用像MySQL这样的普通数据库,速度会变得非常慢。

目前还不需要特定的数据库,编程语言或方法,任何可能使其工作的工具都可以,例如MySQL,Redis,Mongo等,这可能吗?

1 个答案:

答案 0 :(得分:0)

根据查询类型,拆分为多个表可能会有所帮助(对于可以提前确定哪些子表包含所需行的情况)。

这不是一个非常干净的设计,但进一步分裂成多个数据库服务器(也可能有帮助)甚至更复杂。