HRW会合在一起记录日志时间吗？

Question

Rendezvous hashing (Highest Random Weight "HRW")的维基百科页面提出以下声明：

  

虽然可能首先看到HRW算法在O（n）时间运行，但事实并非如此。这些站点可以按层次结构进行组织，并且HRW应用于每个级别，因为它会降低层次结构，导致O（log n）运行时间，如。[7]

我得到了参考文件的副本，＆＃34;基于哈希的移动Ad-hoc网络中可扩展位置服务的虚拟层次结构。＆＃34;但是，他们的论文中引用的层次结构似乎非常特定于其应用程序域。据我所知，没有明确说明如何推广该方法。维基百科的评论使得日志 似乎是一般情况。

我看了几个一般的HRW实现，但它们似乎都没有比线性时间更好的支持。我给了它一些想法，但我没有看到任何方法来分层组织网站，而不会导致父节点在退出时导致低效的重新映射，从而大大打败了HRW的主要优势。

有人知道怎么做吗？或者，维基百科是不正确的，在日志时间有一般的方法来实现这个？

编辑：调查mcdowella的方法：

好的，我想我知道这是如何起作用的。但是你需要比你指定的更多一点。

如果您只是执行了您所描述的内容，那么您会遇到每个叶子可能只有零个或一个节点的情况，并且叶子中有多少个节点存在显着差异 - 最多的子树。如果您在每个级别使用HRW进行交换，只需将整个事物设置为常规搜索树，您就会获得完全相同的效果。从本质上讲，您已经实现了一致性散列，以及存储桶之间不均等负载的缺陷。计算组合权重，HRW的定义实施，没有增加任何内容;你最好只是在每个级别进行搜索，因为它可以节省散列，并且可以在不循环每个基数值的情况下实现

虽然可以解决这个问题：你只需要在最后一级使用HRW从众多选择中进行选择。也就是说，您需要将所有叶节点放在大桶中，这与您在一致散列中具有的副本数量相当。这些大型水桶应相互大致相等，然后您使用HRW选择特定的站点。由于存储桶大小是固定的，这是一个O（n）算法，我们得到了所有关键的HRW属性。

老实说，我认为这是值得怀疑的。它不是HRW的实现，因为它只是将HRW与一致的散列相结合。我猜这有什么不对，在某些情况下甚至可能比使用复制品的常用技术更好。但我认为说明HRW是log（n）是错误的，如果这实际上是作者的意思。

此外，原始描述也值得怀疑。你不需要在每个级别申请HRW，你不应该这样做，因为这样做没有任何好处;你应该快速做一些事情（比如索引），然后用HRW做最后的选择。

这真的是我们能做的最好的，还是有其他方法来制作HRW O（log（n））？

Answer 1

如果给每个站点一个足够长的随机id，用基数k表示（可能是通过散列非随机id），那么你可以将站点与一棵树的叶子相关联，这棵树在每个节点最多有k个后代。无需将任何站点与树的内部节点相关联。

要确定存储项目的位置，请使用HRW从树的根部向下计算在树节点处分支的方式，在到达与站点关联的叶子时停止。您可以执行此操作，而无需与任何站点通信，直到您确定要将项目存储在哪个站点 - 您需要知道的是构建树的站点的散列ID。

由于网站只与树叶相关联，因此树的内部节点无法退出，除非与其下的树叶相关的所有网站都退出，此时它将变得无关紧要。

Answer 2

我没有购买更新后的答案。当您比较分支的权重而不是所有网站的权重时，HRW有两个很好的属性似乎会丢失。

一个是您可以选择前n个站点而不仅仅是主站点，这些站点应该是随机分布的。如果您要下降到单个树中，则前n个站点将在树中彼此靠近。这可以通过使用不同的盐下降多次来修复，但这似乎是很多额外的工作。

两个是显而易见的是添加或删除网站时发生的情况，只有1 / |网站|在添加的情况下，数据移动。如果修改现有树，则仅影响对等站点。在添加的情况下，移动的唯一数据来自添加的站点的新对等体。在删除的情况下，该站点上的所有数据现在都移动到前一个对等体。如果您重新计算树，则所有数据都可以根据树的构造方式移动。

Answer 3

我认为您可以使用通常用于一致性哈希的相同“虚拟节点”方法。假设您有 N 物理节点，其ID为：

{n1,...,nN}.

选择 V ，每个物理节点的虚拟节点数，并生成新的ID列表：

{n1v1,v1v2,...,n1vV
,n2v1,n2v2,...,n2vV
,...
,nNv1,nNv2,...,nNvV}.

将这些安排到固定但随机化的二叉树的叶子中，并在内部节点上标记。例如，这些内部标签可以是其子节点标签的串联。

要选择一个物理节点来存储对象 O ，请从根目录开始，然后选择具有较高哈希 H（标签，O）的分支。重复这个过程，直到你到达一片叶子。将对象存储在该叶子上与虚拟节点对应的物理节点上。这需要 O（log（NV））= O（log（N）+ log（V））= O（log（N））步骤（因为V是常数）。

如果物理节点发生故障，则该节点上的对象将被重新散列，跳过没有活动叶子的子树。

Answer 4

在日志时间内实现HRW集合散列的一种方法

在O（log N）中实现集合散列的一种方法，其中N是缓存节点的数量：

名为F的每个文件都缓存在名为C的缓存节点中，权重w（F，C）最大，这与集合散列中的正常情况一样。

首先，我们使用非标准哈希函数w（），如下所示：

w（F，C）= h（F）x或h（C）。

其中h（）是一些很好的哈希函数。

树构造

给定一个名为F的文件，而不是为每个缓存节点计算w（F，C） - 每个文件需要O（N）时间 - 我们只根据缓存节点的散列名h（C）预先计算二叉树; 一棵树让我们找到每个文件的O（log N）时间内最大w（F，C）值的缓存节点。

树的每个叶子包含一个缓存节点的名称C. 树的根（深度为0）指向2个子树。 h（C）的最高位为0的所有叶子都在根的左子树中; h（C）的最高位为1的所有叶子都在根的右子树中。 根节点的两个子节点（深度为1）处理h（C）的下一个最重要的位。 依此类推，深度D处的内部节点处理h（C）的D最高位。 使用良好的散列函数，从根开始的每个步骤大约将所选子树中的候选缓存节点减半， 所以我们最终得到一棵大约ln_2 N的树。 （如果我们最后得到一棵树，那就是＆＃34;太不平衡＆＃34; 在我们将任何文件添加到缓存之前，以某种方式让每个人都同意某些universal hashing family重建树的不同哈希函数，直到我们得到一个不太平衡的树＃34;）。 / p>

一旦构建了树，无论后来遇到多少文件名，我们都不需要更改它。 我们只在从系统添加或删除缓存节点时才更改它。

文件名查找

对于恰好散列为h（F）= 0（全零位）的文件名F， 我们通过从根开始找到具有最高权重（对于该文件名）的缓存节点，并且在可能的情况下始终采用正确的子树。 如果这导致我们到一个没有正确子树的内部节点，那么我们采用它的左子树。 继续，直到我们到达没有左或右子树的节点 - 即包含所选缓存节点C的名称的叶节点。

当查找名为F的其他文件时，首先我们将其名称哈希以获得h（F），然后 我们从根开始并分别向右或向左（如果可能）由h（F）中的下一位确定为0或1。

由于树（通过施工）不是＆＃34;太不平衡＆＃34;， 遍历整个树从根到包含所选缓存节点C的名称的叶子在最坏的情况下需要O（ln N）时间。

我们希望对于一组典型的文件名， 哈希函数h（F）＆＃34;随机＆＃34;在树的每个深度选择左或右。 由于树（通过施工）不是'＃34;太不平衡＆＃34;， 我们希望每个物理缓存节点缓存大致相同数量的文件（大约4个左右）。

退出效果

当某个物理缓存节点出现故障时， 每个人都从其树的副本中删除相应的叶节点。 （每个人也删除每个内部节点，然后没有叶子后代）。 这并不需要移动任何其他缓存节点上缓存的任何文件 - 它们仍然映射到它们始终执行的相同缓存节点。 （无论该树中有多少其他节点被删除，树中最右边的叶节点仍然是该树中最右边的叶节点。）

例如，

   ....
     \
      |
     / \
    |   |
   /   / \
  |   X   |
 / \     / \
V   W   Y   Z

使用这个O（log N）算法，当缓存节点X死亡时，叶子X从树中删除，并且其所有文件（希望相对均匀地）分布在Y和Z之间 - 没有来自X端的文件在V或W或任何其他缓存节点。 之前进入缓存节点V，W，Y，Z的所有文件继续转到那些相同的缓存节点。

辍学后

重新平衡

许多缓存节点发生故障或新缓存节点添加或两者都可能使树“太不平衡”＃34; 在我们将一堆文件添加到缓存之后，选择一个新的哈希函数是一个很大的麻烦，所以不是像我们在最初构建树时那样选择一个新的哈希函数，也许最好以某种方式重新平衡树通过删除几个节点，用一些新的半随机名称重命名它们，然后将它们添加回系统。 重复，直到系统不再“太不平衡”为止。 （从最不平衡的节点开始 - 缓存最少量数据的节点）。

评论

P.S .: 我认为这可能与mcdowella的想法非常接近， 但是填写了更多细节以澄清（a）是，它是log（N），因为它是一个二元树，它不是太不平衡＆＃34;，（b）它没有＆＃t;有＆＃34;副本＆＃34;，以及（c）当一个缓存节点出现故障时，它不需要重新映射不在该缓存节点上的文件。

p.p.s .: 我非常确定维基百科页面错误地暗示在O（log N）时间内发生了集合散列的典型实现，其中N是缓存节点的数量。 在我看来（我怀疑哈希的原始设计者），（在内部，没有通信）重新计算网络中每个节点的哈希所花费的时间将是微不足道的，并且不值得担心。从某个远程缓存节点获取数据所需的时间。

我的理解是，集合散列几乎总是使用简单的线性算法实现，该算法使用O（N）时间，其中N是缓存节点的数量，每次我们获得新的文件名F并且想要选择缓存节点该文件。

这种线性算法的优点是它可以使用更好的＆＃34;哈希函数比上面的基于xor的w（），所以当一些物理缓存节点死亡时，所有在现在死节点上缓存的文件都应该在所有剩余节点之间均匀分布。