如何快速搜索1500万条记录

Question

我有600条记录的excel文件，我将与数据库中的1500万条记录进行比较。对于每个excel记录，我需要找到1500万条记录的匹配。目前完成该过程大约需要4个小时。我希望将它最小化至少2小时。

Answer 1

1. 将Excel导出为CSV
2. 将CSV导入mysql（LOAD）
3. 在键列（要与15M记录进行比较的列）上创建索引
4. 确保15M记录表在比较密钥上设置了正确的索引！
5. 编写一个简单的查询，将两个表与您需要的条件连接起来。

所有这些要点都相当微不足道，并留给读者练习。

Answer 2

尝试

如果索引未完成： 对你正在比较的领域进行索引，结果将是神奇的。

如果可能，请避免使用LIKE查询并更改WHERE查询的顺序。

例如：WHERE city = "New York" AND name LIKE "XYZ" AND mobile=7777777777 AND status=1

它应该像

WHERE status=1 AND mobile=7777777777 AND city = "New York" AND name LIKE "XYZ"

然后标记然后字符然后字符然后变量的序列然后像最后一样，它很重要。