Question

我正在使用hash_ring package在服务器之间分发对象。我假设分布是统一的，因为它基于MD5哈希。不幸的是情况并非如此。

我使用的是使用uuid.uuid4()生成的随机密钥。我已经证实，MD5本身实际上确实提供了均匀分布。但是，当我使用hash_ring.HashRing进行分发时，大多数和最少填充的存储桶之间存在20-30％的差异。

通过调整某些设置，可以在hash_ring中改善分布的均匀性吗？
在Python中进行一致性哈希还有其他好的选择吗？

我用来测试分布均匀性的代码：

ring = hash_ring.HashRing(range(8))
for _ in range(10):
     counters = [0]*8
     for _ in range(100000):
         counters[ring.get_node(str(uuid.uuid4()))] += 1
     print counters

打印出来的：

[11115, 11853, 14033, 11505, 13640, 12292, 12851, 12711]
[11164, 11833, 14024, 11562, 13365, 12302, 13002, 12748]
[11354, 11756, 14017, 11583, 13201, 12231, 13135, 12723]
[11182, 11672, 13936, 11441, 13563, 12240, 13129, 12837]
[11069, 11866, 14045, 11541, 13443, 12249, 12894, 12893]
[11196, 11791, 14158, 11533, 13517, 12319, 13039, 12447]
[11297, 11944, 14114, 11536, 13154, 12289, 12990, 12676]
[11250, 11770, 14145, 11657, 13340, 11960, 13161, 12717]
[11027, 11891, 14099, 11615, 13320, 12336, 12891, 12821]
[11148, 11677, 13965, 11557, 13503, 12309, 13123, 12718]

为了比较，我使用MD5直接进行了非一致性哈希：

for _ in range(10):
    counters = [0]*8
    for _ in range(100000):
        counters[int(hashlib.md5(str(uuid.uuid4())).hexdigest(),16)%8] += 1
    print counters

效果更好：

[12450, 12501, 12380, 12643, 12446, 12444, 12506, 12630]
[12579, 12667, 12523, 12385, 12386, 12445, 12702, 12313]
[12624, 12449, 12451, 12401, 12580, 12449, 12562, 12484]
[12359, 12543, 12371, 12659, 12508, 12416, 12619, 12525]
[12425, 12526, 12565, 12732, 12381, 12481, 12335, 12555]
[12514, 12576, 12528, 12294, 12658, 12319, 12518, 12593]
[12500, 12471, 12460, 12502, 12637, 12393, 12442, 12595]
[12583, 12418, 12428, 12311, 12581, 12780, 12372, 12527]
[12395, 12569, 12544, 12319, 12607, 12488, 12424, 12654]
[12480, 12423, 12492, 12433, 12427, 12502, 12635, 12608]

Answer 1

哈希环牺牲了md5测试代码的“eveness”，以便在条目数量发生变化时保持映射。见http://www.lexemetech.com/2007/11/consistent-hashing.html。所以你看到的差异不是因为uuid4，还是因为错误，而是因为你的测试使用了不同的算法。

如果您更改了md5代码中的bin数，则需要更改模块划分（% 8），突然（几乎）所有映射都会发生变化。 一致的哈希避免了这种情况。这就是为什么它不能使用相同的“明显统一”的方法。

一致性方法的缺点是它不是完全均匀的（它取决于箱子的散列，而不是放在箱子中的物体的散列，所以你不会得到“晚上出去” “当你添加更多对象时，你会期望的。但是你可以通过增加环上的点数来增加一致性 - 增加代码中使用的“副本”的数量。

所以假设最终的api与http://amix.dk/blog/viewEntry/19367显示的匹配，只需为replicas设置一个更大的值（尝试加倍，或者甚至只添加1 - 你已经非常平坦了）。

更新：我再看了一遍，这篇博文http://amix.dk/blog/post/19369描述了对最新代码所做的更改。它看起来确实使用了比3更多的副本（我不完全理解代码，对不起），而且它似乎现在基于一个众所周知的“标准”实现。

Python hash_ring不均匀分布，什么是一致的哈希替代方案？

1 个答案: