如何计算/处理大量数据?

时间:2016-10-31 17:09:48

标签: mysql etl data-warehouse bigdata

我在MySQL中有一个表格,其中包含 5000万条记录(持续增长),这与订阅消费有关。

所以,每天我必须选择这些记录并对其进行计算,以便针对不同类型的消费/客户,例如,如果客户端处于活动/非活动状态,活动时间有多长,如果它改变了产品,等等。

目前,我有不同的查询来选择不同的业务案例,然后我将数据加载到临时区域和数据仓库。虽然,一些这些查询非常低,而且它们正在超载生产环境。

我想知道这种日常任务是否有已知的解决方案或技术。

我愿意继续使用MySQl或尝试新的大数据技术。例如,每天将数百万条原始记录选择到临时区域/ ODS,然后使用某种技术对其进行处理。

有没有人知道这些任务的好方法?

谢谢。

1 个答案:

答案 0 :(得分:1)

一个选项可能是复制 - http://dev.mysql.com/doc/refman/8.0/en/replication.html

通过这种方式,您可以在复制的数据库上运行所需的任何查询,而不会影响实时数据库。