MySQL - 每天处理200M +记录

Question

我有一个MySQL表，每天需要存储大约2亿条记录。数据以平面文件形式出现，我将使用“LOAD DATA INFILE”批量上传。大多数数据元素都是ID，因此文本不多。一天包含200M记录的平面文件大约为27GB。

我的问题是我应该将所有这些信息存储在一个表中，还是应该将每天的数据分成一个单独的表。拆分信息肯定会让分析变得更加困难，但我不确定MySQL如何在单个表中处理60亿条记录，这些记录将累积一个月。

我目前正在使用MyISAM表格为MySQL安装开箱即用。

（是的，我希望长期建立一个Hadoop解决方案，但想知道我是否可以在短期内使用MySQL）

感谢。

Answer 1

是的，MySQL可以在一张表中存储数十亿行 请参阅我对Maximum number of records in a MySQL database table的回答。

如何查询一个包含数十亿行的表是一个不同的问题。您应该查看Table Partitioning，并了解您必须仔细设计对表格进行分区的方式，以及针对表格运行所需的查询。

另外，如果您不希望数据损坏，请不要使用MyISAM。使用InnoDB。