如何计算MySQL查询中两个哈希值之间的差异?

时间:2019-02-02 20:45:12

标签: mysql hash bit-manipulation hamming-distance phash

我正在尝试计算输入哈希与数据库存储的哈希之间的汉明距离。这些是感知哈希,因此它们之间的汉明距离对我很重要,并告诉我两个不同图像的相似程度(请参阅http://en.wikipedia.org/wiki/Perceptual_hashinghttp://jenssegers.com/61/perceptual-image-hasheshttp://stackoverflow.com/questions/21037578/)。哈希是16个十六进制字符,看起来像这样:

  

b1d0c44a4eb5b5a9
  1f69f25228ed4a31
  751a0b19f0c2783f

我的数据库如下:

CREATE TABLE `hashes` (
  `id` int(11) NOT NULL,
  `hash` binary(8) NOT NULL
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=latin1;

INSERT INTO `hashes` (`id`, `hash`) VALUES
    (1, 0xb1d0c44a4eb5b5a9),
    (2, 0x1f69f25228ed4a31),
    (3, 0x751a0b19f0c2783f);

现在,我知道我可以像这样查询汉明距离了:

SELECT BIT_COUNT(0xb1d0c44a4eb5b5a9 ^ 0x751a0b19f0c2783f)

将如预期那样输出38。但是,对于这种比较,我似乎无法引用列名。下列不按预期的工作。

SELECT BIT_COUNT(hash ^ 0x751a0b19f0c2783f) FROM hashes

有谁知道我怎么能在我的第一个SELECT查询计算像汉明距离上面我的数据库使用的列?我已经尝试过以不同方式使用hex()unhex()conv()cast()的各种方案。这是在MySQL中。

更新我的上述查询在MySQL v8中运行时似乎可以正常工作(感谢@LukStorms指出了这一点)。您可以在下面使用我的小提琴,并在左上方更改版本。我现在的问题是:如何确保该行为在所有版本的MySQL中均有效?

提琴:https://www.db-fiddle.com/f/mpqsUpZ1sv2kmvRwJrK5xL/0

3 个答案:

答案 0 :(得分:4)

问题似乎与您选择的数据类型(字符串类型)有关。在MySQL 5.7和8.0中都可以使用数字数据类型:

CREATE TABLE `hashes` (
  `id` int(11) NOT NULL,
  `hash` bigint unsigned NOT NULL
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=latin1;

INSERT INTO `hashes` (`id`, `hash`) VALUES
    (1, 0xb1d0c44a4eb5b5a9),
    (2, 0x1f69f25228ed4a31),
    (3, 0x751a0b19f0c2783f);

SELECT id, HEX(hash), BIT_COUNT(hash ^ 0x751a0b19f0c2783f)
FROM hashes;

输出:

id  HEX(hash)           BIT_COUNT(hash ^ 0x751a0b19f0c2783f)
1   B1D0C44A4EB5B5A9    38
2   1F69F25228ED4A31    34
3   751A0B19F0C2783F    0

Demo on dbfiddle

在此查询中可以看到MySQL 5.7和8.0使用字符串类型的区别:

SELECT id, hash, HEX(hash), HEX(hash ^ 0x751a0b19f0c2783f)
FROM hashes;

5.7的MySQL:

id  hash                                                        HEX(hash)           HEX(hash ^ 0x751a0b19f0c2783f)
1   {"type":"Buffer","data":[177,208,196,74,78,181,181,169]}    B1D0C44A4EB5B5A9    751A0B19F0C2783F
2   {"type":"Buffer","data":[31,105,242,82,40,237,74,49]}       1F69F25228ED4A31    751A0B19F0C2783F
3   {"type":"Buffer","data":[117,26,11,25,240,194,120,63]}      751A0B19F0C2783F    751A0B19F0C2783F

MySQL 8.0

id  hash                                                        HEX(hash)           HEX(hash ^ 0x751a0b19f0c2783f)
1   {"type":"Buffer","data":[177,208,196,74,78,181,181,169]}    B1D0C44A4EB5B5A9    C4CACF53BE77CD96
2   {"type":"Buffer","data":[31,105,242,82,40,237,74,49]}       1F69F25228ED4A31    6A73F94BD82F320E
3   {"type":"Buffer","data":[117,26,11,25,240,194,120,63]}      751A0B19F0C2783F    0000000000000000

MySQL 8.0正确执行XOR,返回一个变量,而MySQL 5.7返回被XOR的值,表明它在数字上下文中将BINARY字符串视为0。

答案 1 :(得分:2)

这不是数字,因此不能用于数学计算:

`hash` binary(8) NOT NULL

使用BIGINT代替:

`hash` bigint unsigned NOT NULL

答案 2 :(得分:2)

尝试一下:

SELECT id, HEX(hash), CAST(CONV(HEX(hash),16,10) AS UNSIGNED), BIT_COUNT(CAST(CONV(HEX(hash),16,10) AS UNSIGNED) ^ 0x751a0b19f0c2783f) FROM hashes;