PubSub如何在BookSleeve / Redis中工作?

时间:2013-04-07 12:46:35

标签: c# redis servicestack booksleeve

我想知道使用BookSleeve发布和订阅频道的最佳方式是什么。我目前实现了几种静态方法(见下文),这些方法允许我将内容发布到特定频道,新创建的频道存储在private static Dictionary<string, RedisSubscriberConnection> subscribedChannels;中。

这是正确的方法,因为我想发布到频道并订阅同一个应用程序中的频道(注意:我的包装器是一个静态类)。即使我想发布和订阅,是否足以创建一个频道?显然,我不会发布到在同一个应用程序中订阅的相同频道。但我测试了它并且它起作用了:

 RedisClient.SubscribeToChannel("Test").Wait();
 RedisClient.Publish("Test", "Test Message");

它有效。

我的问题在这里:

1)设置专用发布频道和专用订阅频道而不是为两者使用一个频道会更有效吗?

2)语义上“channel”和“PatternSubscription”有什么区别?我的理解是,我可以在同一频道上通过PatternSubscription()订阅几个“主题”,对吗?但是如果我想为每个“主题”调用不同的回调,我必须为每个主题设置一个正确的通道吗?这样有效吗?或者你会建议反对吗?

这里是代码片段。

感谢!!!

    public static Task<long> Publish(string channel, byte[] message)
    {
        return connection.Publish(channel, message);
    }

    public static Task SubscribeToChannel(string channelName)
    {
        string subscriptionString = ChannelSubscriptionString(channelName);

        RedisSubscriberConnection channel = connection.GetOpenSubscriberChannel();

        subscribedChannels[subscriptionString] = channel;

        return channel.PatternSubscribe(subscriptionString, OnSubscribedChannelMessage);
    }

    public static Task UnsubscribeFromChannel(string channelName)
    {
        string subscriptionString = ChannelSubscriptionString(channelName);

        if (subscribedChannels.Keys.Contains(subscriptionString))
        {
            RedisSubscriberConnection channel = subscribedChannels[subscriptionString];

            Task  task = channel.PatternUnsubscribe(subscriptionString);

            //remove channel subscription
            channel.Close(true);
            subscribedChannels.Remove(subscriptionString);

            return task;
        }
        else
        {
            return null;
        }
    }

    private static string ChannelSubscriptionString(string channelName)
    {
        return channelName + "*";
    }

1 个答案:

答案 0 :(得分:6)

1:您的示例中只有一个频道(Test);频道只是用于特定发布/订阅交换的名称。但是,由于redis API的工作原理,有必要使用2个连接。具有任何订阅的连接除了以下内容外无法执行任何操作:

  • 收听消息
  • 管理自己的订阅(subscribepsubscribeunsubscribepunsubscribe

但是,我不明白这一点:

private static Dictionary<string, RedisSubscriberConnection>

除非您正在为您提供特定的服务,否则您不应该需要多个订户连接。单个订户连接可以处理任意数量的订阅。快速检查我的一台服务器上的client list,我与(在撰写本文时)23,002个订阅有一个连接。这可能会减少,但是:它有效。

2:模式订阅支持通配符;所以,您可以订阅/topic/1,而不是订阅/topic/2//topic/*等。 publish使用的实际频道的名称作为回调签名的一部分提供给接收方。

要么可以工作。应该注意的是publish的性能受到唯一订阅总数的影响 - 但坦率地说它仍然是愚蠢的快速(如:0ms),即使你使用{{有数千个订阅频道 - 也是如此1}}而不是subscribe

但是来自publish

  

时间复杂度:O(N + M)其中N是订阅接收频道的客户端数量,M是订阅模式的总数(由任何客户端)。

我建议您阅读pub/sub的redis文档。


编辑后续问题:

  

a)我假设我必须同步“发布”(使用Result或Wait())如果我想保证在接收项目时保留从同一发布者发送项目的顺序,是否正确?

根本不会有任何区别;既然你提到psubscribe / Result,我假设你在谈论BookSleeve - 在这种情况下,多路复用器已经保留了命令顺序。 Redis本身是单线程的,并且将始终按顺序处理单个连接上的命令。但是:订阅者的回调可以异步执行,并且可以(单独)传递给工作者线程。我目前正在调查是否可以从Wait()强制执行此操作。

更新:从1.3.22开始,您可以将RedisSubscriberConnection设置为CompletionMode - 然后所有回调都将按顺序完成,而不是同时完成。

  

b)根据您的建议进行调整后,无论有效负载的大小如何,在发布少数项目时都能获得很好的表现。但是,当同一发布者发送100,000个或更多项目时,性能会迅速下降(从我的机器发送到7-8秒)。

首先,那个时间听起来很高 - 我在本地测试(10万个出版物,包括等待所有这些的响应)1766ms(本地)或1219ms(远程)(这听起来可能违反直觉,但我的“本地“没有运行相同版本的redis;我的”遥控器“是Centos上的2.6.12;我的”本地“是 2.6.8-pre2在Windows上。)

我无法让您的实际服务器更快或加速网络,但是:如果这是数据包碎片,我已添加(仅适合您)PreserveOrder / SuspendFlush()对。这会禁用eager-flush(即当发送队列为空时;其他类型的刷新仍然发生);你可能会发现这有帮助:

ResumeFlush()

请注意,在恢复之前不应该conn.SuspendFlush(); try { // start lots of operations... } finally { conn.ResumeFlush(); } ,因为在调用Wait之前,发送缓冲区中仍可能存在某些操作。有了这一切,我得到(100,000次操作):

ResumeFlush()

正如您所看到的,它对远程服务器的帮助更大,因为它将通过网络减少数据包。

  

我无法使用交易,因为稍后要发布的商品并非全部可用。有没有办法优化这些知识?

认为是由上述解决的 - 但请注意,最近local: 1766ms (eager-flush) vs 1554ms (suspend-flush) remote: 1219ms (eager-flush) vs 796ms (suspend-flush) 也被添加了。批处理操作很像交易 - 只是:没有交易。同样,它是另一种减少数据包碎片的机制。在您的特定情况下,我怀疑暂停/恢复(在冲洗时)是您最好的选择。

  

您是否建议使用一个通用的RedisConnection和一个RedisSubscriberConnection或任何其他配置让这样的包装器执行所需的功能?

只要您没有执行阻止操作(CreateBatchblpopbrpop等),或者将超大的BLOB放在线路上(可能会在其清除时延迟其他操作) ,那么每种类型的单个连接通常都能很好地工作。但YMMV取决于您的确切使用要求。