Question

我无法构建数据库来存储大量SHA1数据并有效地返回结果。

我承认SQL不是我最强的技能，但作为一项练习，我试图使用来自https://haveibeenpwned.com/Passwords的数据，它可以很快返回结果

这是我的数据：

mysql> describe pwnd;
+----------+------------------+------+-----+---------+----------------+
| Field    | Type             | Null | Key | Default | Extra          |
+----------+------------------+------+-----+---------+----------------+
| id       | int(10) unsigned | NO   | PRI | NULL    | auto_increment |
| pwndpass | binary(20)       | NO   |     | NULL    |                |
+----------+------------------+------+-----+---------+----------------+

mysql> select id, hex(pwndpass) from pwnd order by id desc limit 10;
+-----------+------------------------------------------+
| id        | hex(pwndpass)                            |
+-----------+------------------------------------------+
| 306259512 | FFFFFFFEE791CBAC0F6305CAF0CEE06BBE131160 |
| 306259511 | FFFFFFF8A0382AA9C8D9536EFBA77F261815334D |
| 306259510 | FFFFFFF1A63ACC70BEA924C5DBABEE4B9B18C82D |
| 306259509 | FFFFFFE3C3C05FCB0B211FD0C23404F75E397E8F |
| 306259508 | FFFFFFD691D669D3364161E05538A6E81E80B7A3 |
| 306259507 | FFFFFFCC6BD39537AB7398B59CEC917C66A496EB |
| 306259506 | FFFFFFBFAD0B653BDAC698485C6D105F3C3682B2 |
| 306259505 | FFFFFFBBFC923A29A3B4931B63684CAAE48EAC4F |
| 306259504 | FFFFFFB58E389A0FB9A27D153798956187B1B786 |
| 306259503 | FFFFFFB54953F45EA030FF13619B930C96A9C0E3 |
+-----------+------------------------------------------+
10 rows in set (0.01 sec)

我的问题涉及快速查找条目，因为它目前需要6分钟

mysql> select hex(pwndpass) from pwnd where hex(pwndpass) = '0000000A1D4B746FAA3FD526FF6D5BC8052FDB38';
+------------------------------------------+
| hex(pwndpass)                            |
+------------------------------------------+
| 0000000A1D4B746FAA3FD526FF6D5BC8052FDB38 |
+------------------------------------------+
1 row in set (6 min 31.82 sec)

我是否拥有正确的数据类型？我搜索存储sha1数据，建议使用二进制（20）字段但不确定如何优化它以搜索数据。

我的MySQL安装是一个干净的交钥匙虚拟机https://www.turnkeylinux.org/mysql除了为虚拟机提供更多磁盘空间之外，我没有调整任何设置

Answer 1

两个最明显的提示是：

在列上创建索引。

不要在每次搜索时将每一行转换为十六进制：

select hex(pwndpass)
from pwnd
where hex(pwndpass) = '0000000A1D4B746FAA3FD526FF6D5BC8052FDB38';
--    ^^^ This is forcing MySQL to convert every hash stored from binary to hexadecimal
--        so it can determine whether there's a match

事实上，你根本不需要十六进制，除了用于显示目的：

select id, hex(pwndpass) -- This is fine, will just convert matching rows
from pwnd
where pwndpass = ?

...其中?是一个占位符，在您的客户语言中，对应于二进制字符串。

如果您需要在命令行中运行查询，还可以使用hexadecimal literal：

select id, hex(pwndpass) -- This is fine, will just convert matching rows
from pwnd
where pwndpass = 0x0000000A1D4B746FAA3FD526FF6D5BC8052FDB38

我应该如何构建一个数据库来存储大量的SHA1数据

1 个答案: