Question

我有一个Java应用程序设置，其中有多个memcached服务器节点与spymemcached客户端通信。

我想知道是否可以在运行时添加或删除服务器节点，而不会干扰所有现有的缓存节点（我知道应该更改某些节点）。

以下是我所知道的（或理解）：

可以在DefaultConnectionFactory中设置自定义哈希算法，这有助于我们使用Consistent Hashing甚至使用内置的KetamaConnectionFactory。

因此，我们应该能够添加或删除仅对一个或几个现有节点进行更改的节点。

是否可以使用spymemcached？

如果是，那怎么样？

任何人都可以指出我正确的方向吗？

Answer 1

看起来NodeLocator.updateLocator(List<MemcachedNode> newNodes)应该完成这项工作。

但要连接MemcachedNode有点困难。您必须覆盖MemcachedClient，MemcachedConnection和DefaultConnectionFactory。

您希望在MemcachedClient添加或删除客户端，以便添加remove(MemcachedNode node)和add(MemcachedNode node)方法。

如果要删除，您应断开该节点的连接（请参阅MemcachedConnection.shutdown()）并将其从NodeLocator.getAll()中移除，然后致电NodeLocator.updateLocator(List<MemcachedNode> newNodes)。

如果要添加，您应该通过MemcachedConnection.createConnections（最终集合a）连接节点，将其与NodeLocator.getAll()合并并调用NodeLocator.updateLocator(List<MemcachedNode> newNodes)。

好吧，我从来没有尝试过，所以它可能无法正常工作。祝你好运！

<强> ExtMemCachedConnection.java 公共类ExtMemCachedConnection扩展了MemcachedConnection {

  protected final OperationFactory opFact;

  /**
   * Construct a memcached connection.
   *
   * @param bufSize the size of the buffer used for reading from the server
   * @param f       the factory that will provide an operation queue
   * @param a       the addresses of the servers to connect to
   * @throws java.io.IOException if a connection attempt fails early
   */
  public ExtendableMemcachedConnection(int bufSize, ConnectionFactory f,
                                       List<InetSocketAddress> a,
                                       Collection<ConnectionObserver> obs,
                                       FailureMode fm, OperationFactory opfactory)
      throws IOException {
    super(bufSize, f, a, obs, fm, opfactory);
    this.opFact = opfactory;
  }

  public void add(InetSocketAddress nodeAddress) throws IOException {
    final List<InetSocketAddress> nodeToAdd = new ArrayList<InetSocketAddress>(1);
    nodeToAdd.add(nodeAddress);
    List<MemcachedNode> newNodesList = createConnections(nodeToAdd);
    newNodesList.addAll(getLocator().getAll());
    getLocator().updateLocator(newNodesList);
  }

  //The node should be obtain from locator to ensure currentNode.equals(node) will return true
  public void remove(MemcachedNode node) throws IOException {
    for(MemcachedNode currentNode : getLocator().getAll()) {
      if(currentNode.equals(node)) {
        Collection<Operation> notCompletedOperations = currentNode.destroyInputQueue();
        if (currentNode.getChannel() != null) {
          currentNode.getChannel().close();
          currentNode.setSk(null);
          if (currentNode.getBytesRemainingToWrite() > 0) {
            getLogger().warn("Shut down with %d bytes remaining to write",
                             currentNode.getBytesRemainingToWrite());
          }
          getLogger().debug("Shut down channel %s", currentNode.getChannel());
        }
        //Unfortunatelly,  redistributeOperations is private so it cannot be used or override. I put copy/paste the implementation
        redistributeOperations(notCompletedOperations);
      }
    }
  }

  protected void redistributeOperations(Collection<Operation> ops) {
    for (Operation op : ops) {
      if (op.isCancelled() || op.isTimedOut()) {
        continue;
      }
      if (op instanceof KeyedOperation) {
        KeyedOperation ko = (KeyedOperation) op;
        int added = 0;
        for (String k : ko.getKeys()) {
          for (Operation newop : opFact.clone(ko)) {
            addOperation(k, newop);
            added++;
          }
        }
        assert added > 0 : "Didn't add any new operations when redistributing";
      } else {
        // Cancel things that don't have definite targets.
        op.cancel();
      }
    }
  }


}

<强> ExtMemcachedClient.java

  public void add(InetSocketAddress nodeAddress) {
    if(mconn instanceof ExtMemcachedConnection) {
      ((ExtMemcachedConnection)mconn).add(nodeAddress);  
    }
  }

  public boolean remove(MemcachedNode node) {
    if(mconn instanceof ExtMemcachedConnection) {
      ((ExtMemcachedConnection)mconn).remove(nodeAddress);
    }
  }

<强> ExtMemcachedConnectionfactory.java

  @Override
  public MemcachedConnection createConnection(List<InetSocketAddress> addrs) throws IOException {
    return new ExtendableMemcachedConnection(getReadBufSize(), this, addrs,
                                             getInitialObservers(), getFailureMode(), getOperationFactory());
  }

Answer 2

这个问题很久以前就被问到了spymemcached，但我认为这个答案可能对其他寻找替代品的人有所帮助。还有另一个名为xmemcached的memcached客户端。此客户端支持动态添加/删除memcached服务器。

https://code.google.com/p/xmemcached/

https://github.com/killme2008/xmemcached

memcachedClient.addServer(host, port);

memcachedClient.removeServer(host);

如何使用spymemcached动态添加memcached节点

2 个答案: