我希望每天使用Redis重置一个计数器。我是Redis的新手,所以我想确保我很清楚交易和管道是如何工作的。
以下代码是否确保在多进程环境中工作时始终会获得一对(日期,数字),或者我是否需要使用Redis锁?
import datetime
import redis
r = redis.Redis(...)
def get_utc_date_now():
return datetime.datetime.utcnow().date()
def get_daily_counter(r, dt_key='dt', counter_key='counter'):
def incr_daily_number(pipe):
dt_now = get_utc_date_now().isoformat() # e.g.: "2014-10-18"
dt = pipe.get(dt_key)
pipe.multi()
if dt != dt_now:
pipe.set(dt_key, dt_now)
pipe.set(counter_key, 0)
pipe.get(dt_key)
pipe.incr(counter_key)
result = r.transaction(incr_daily_number, dt_key)
return result[-2:]
# Get the (dt, number) couple
# 2014-10-18, 1
# 2014-10-18, 2
# etc.
dt, number = get_daily_counter(r)
尝试使用LUA脚本:
r = redis.Redis(...)
incr_with_reset_on_change_lua_script = """
local dt = redis.call('GET', KEYS[2])
if dt ~= ARGV[2] then
redis.call('MSET', KEYS[1], ARGV[1], KEYS[2], ARGV[2])
end
return redis.call('INCR', KEYS[1])
"""
# Incr KEYS1 but reset first if KEYS2 has changed.
incr_with_reset_on_change = r.register_script(incr_with_reset_on_change_lua_script)
counter_key = 'dcounterA'
watch_key = 'dcounterA_dt'
watch_value = get_utc_date_now().isoformat()
number = incr_with_reset_on_change(keys=[counter_key, watch_key], args=[reset_value, watch_value])
答案 0 :(得分:4)
考虑两个在午夜发生的并发交易。两者都可以执行get(dt_key),但是首先执行MULTI / EXEC块。它将重置计数器,设置新日期,增加计数器。第二个也将进入其MULTI / EXEC块,但因为' dt'已更改,执行将失败,并将再次调用incr_daily_number。此时get(dt_key)将返回新日期,因此当执行MULTI / EXEC块时,计数器将递增而不进行任何复位。这两个事务将返回具有不同计数器值的新日期。
所以,我相信这里没有竞争条件,而且(日期,数字)夫妻将是独一无二的。
您也可以使用服务器端Lua脚本(其执行始终是原子)来实现此目的。它通常更方便。
请注意,实际上,没有Redis锁这样的东西。 API中提供的锁定机制由Python客户端提供 - 而不是由Redis服务器提供。如果你看一下它的实现,你会发现它也是基于SETNX + WATCH / MULTI / EXEC块或Lua脚本。