使用MySQL处理大型数据集

Question

我正在尝试申请一份工作，该工作要求使用关系数据库（如mySQL）处理大规模数据集的经验。

我想知道使用MySQL处理大规模数据需要哪些特定技能。

Answer 1

Answer 2

您需要知道如何以“块”处理数据。这意味着您不需要简单地尝试操作整个数据集，而是需要将其分解为更小的更易于管理的部分。例如，如果您有一个包含10亿条记录的表，那么针对整个表的单个更新语句可能需要很长时间才能完成，并且可能会使服务器瘫痪。

但是，您可以在循环中发布一系列更新语句，一次更新20,000条记录。循环的每次迭代都会增加范围/计数器/以确定下一组记录。

此外，您在每个循环结束时提交更改，从而允许您停止该过程并继续您离开的位置。

这只是管理大型数据集的一个方面。你还需要知道：

• 如何执行备份
• 正确索引
• 数据库维护

Answer 3

You can raed/learn how to handle large dataset with MySQL但这并不等同于拥有实际经验。

Answer 4

直接而简单的回答：研究分区数据库，找到与分区数据库架构类似的大规模数据集的适当MySQL数据结构类型。