Question

我正在使用Python-RQ来创建一份工作，当你创建一份工作时，你会找回一份工作.id：

f311ae30-b623-4b38-9dcb-0edd0133a6e6

然后我用那个id检查结果是否完成，这很好。

然后将此结果缓存（500秒）。

现在，我感到很困惑。

当另一个请求在具有相同输入集的500秒时间范围内进入时：

{'blah': u'123456', 'title': u' Some Title', 'variable': 123}

如何获取该作业的缓存结果与创建其他作业。

我的问题是job.id是一些哈希，包括时间戳等等，所以我不确定如何在redis中查找结果。

我到处搜索过，但是在没有创建新工作的情况下，没有在任何地方看到这个记录，以便最好地利用缓存结果。

Answer 1

我想出了一个可能对其他人有帮助的解决方案。

基本上，创建输入的摘要（到RQ工作者），这样我们可以在另一个相同的请求进入时查找内容，这将是哈希名称。键将是'job_key'，值将是我们需要的job.id。

当另一个请求与先前处理的请求相同时，我们现在可以找到并提供结果，而无需再次执行相同的工作。

此外，就像故障安全一样，为作业增加了一些额外的秒数，因此当另一个函数请求缓存的job.result时，它仍然存在，并且在调用之间不会被垃圾收集器删除。

*请求，如果有人有一些见解，如果有更好的方法来处理哈希 - ＆gt;关于内存消耗的job.id（key，value），类似于this和this，请告诉我。（这两个链接指的是如何使用哈希与常规字符串相比，使用某种算法以特定方式存储键/值，以便每个哈希具有100个键/值）。

关于好东西：

# Seconds before cached records expire
cache_expire = 500

# Create hash of parameters, to use as a lookup for job.id (cache)
hash = hashlib.sha1()
for param in search:
    hash.update(str(search[param]))
url_hash = 'url:{0}'.format(hash.hexdigest())

# Check if we have a cached result, need old job_key
job_key = r.hget(url_hash, 'job_key')
if job_key:
    job_hash = 'rq:job:{0}'.format(job_key)
    ttl = r.ttl(job_hash)
    if ttl:
        # Add 30 more seconds of buffer room
        # to ensure job.result doesn't get deleted pre-maturely
        r.expire(job_hash, ttl+30)
        return jsonify(search_id=job_key)
    else:
        # Job result has already been deleted, clear lookup hash
        r.delete(url_hash)

# Create new job
job = q.enqueue_call(func=worker.search, args=(search,), result_ttl=cache_expire)
# Create job.id lookup using hash as key (for cache)
if r.hsetnx(url_hash, 'job_key', job.id):
    r.expire(url_hash, cache_expire)

return jsonify(search_id=job.id)

使用Python-RQ检查先前的结果是否已存在

1 个答案: