对于TL; DR

Question

最近我使用Redis.Eval改进了一些代码并且效果很好。事实上，这工作得太好了，但我不明白这是怎么可能的。

对于TL; DR

改进了redis代码，使用Redis.zcard多次使用Redis.eval一次。代码的速度提高了100倍（在测试环境中。在实际项目中，速度提高了1000倍以上）。我不知道为什么。有人可以解释一下吗？

代码

这是一项非常简单的任务。它需要一个字符串数组，它是存储在Redis中的ZSET的关键字，并对相应ZSET的大小求和，并返回一个整数值，即总和。

测试设置

为了尽可能多地消除外部变量，我建立了一个简单的测试环境，如下所示。

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 500.times.collect do |i| "KEY#{i}" end
KEYS.each do |key|
  redis.zadd(key, 0, "DATA")
end

改善之前

在我更改代码之前，它的工作原理如下。

sum = 0
KEYS.each do |key|
  sum += redis.zcard(key)
end

然后我使用以下单行代码测试了此代码的速度 t = Time.now; sum=0; KEYS.each do |key| sum += redis.zcard(key) end; puts(Time.now - t)
结果打印出来0.202seconds(202ms)
（请注意，我根据测试环境和上面编写的代码计算了时间，而不是基于真实环境）

改善后

在我使用Lua脚本和EVAL更改代码后，它的工作原理如下。

script = " 
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"
sum = redis.eval(script, KEYS)

然后，我还使用以下单行代码测量执行上述代码所用的时间 t = Time.now; redis.eval(script, KEYS); puts(Time.now - t)
这给了我0.001519seconds(1.5ms)。这比<＃34;之前的 <134> <＃34;码。

混乱

让我感到困惑的是，一个redis.zcard(KEYS[0])需要大约0.000542seconds(0.542ms)。因此redis.eval代码在redis中总计500 ZCARD花费大约相同的时间来计算ruby中的3 Redis.ZCARD。

当我第一次在我的项目中发现这个时，我认为网络延迟的减少以及等待队列时间的减少确实起了作用。然而，当我在本地redis上测试时，我怀疑我的理论。根本没有网络延迟，没有其他任务正在使用Redis。

我的理论是

Ruby总和（sum += redis.zcard(key)）占用大部分时间。
即使我使用本地主机，redis和ruby通信之间也存在某种延迟。
处理许多查询时，redis存在内部延迟。（虽然不太可能）

任何人都可以向我解释为什么这个Redis.eval代码非常快？谢谢！

Answer 1

这是由于滞后造成的，基于对套接字的写入/读取

20％ - 将命令写入套接字

80％ - 从套接字

中读取结果

require 'benchmark'
require 'redis'

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 10_000.times.collect { |i| "KEY#{i}" }
KEYS.each { |key| redis.zadd(key, 0, 'DATA') }

script = " 
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"

Benchmark.bm do |x|
  x.report { puts KEYS.inject(0) { |sum, key| sum + redis.zcard(key) } }
  x.report do
    client = redis.client
    client.send(:ensure_connected) do
      KEYS.inject(0) { |sum, key| sum + client.process([[:zcard, key]]) { client.read } }
    end.tap { |res| puts res}
  end
  x.report do
    client = redis.client
    client.send(:ensure_connected) do
      connection = client.connection
      socket = connection.instance_variable_get(:@sock)
      KEYS.map do |key|
        command = connection.build_command([:zcard, key])
        # Redis::Connection::Ruby
        socket.write(command) # write to socket, 20% of execution time
        line = socket.gets # read from socket, 80% of execution time
        reply_type = line.slice!(0, 1)
        connection.format_reply(reply_type, line)
      end.inject(:+)
    end.tap { |res| puts res}
  end
  x.report { puts redis.eval(script, KEYS) }
end

# user     system      total        real
# 10000
# 0.480000   0.230000   0.710000 (  0.966610)
# 10000
# 0.510000   0.250000   0.760000 (  1.132668)
# 10000
# 0.500000   0.270000   0.770000 (  1.193521)
# 10000
# 0.030000   0.000000   0.030000 (  0.054858)
# [Finished in 4.923s]

因此，由于传输延迟，脚本可能在redis中执行。

Redis - 为什么这段代码很快？

对于TL; DR

代码

测试设置

改善之前

改善后

混乱

1 个答案: