Question

我一直在关注设置memcached以支持大值的说明。

用例基本上是我想在内存中保留一个相当大的机器学习模型，并使用它来响应查询。模型的大小可能在0.5到100 MB之间变化。

这些是我/etc/memcached.conf中的自定义键

# custom flags
-I 10M
-m 200
-vvv

这是重新启动memcached后设置的键：

> sudo service memcached restart
Restarting memcached: memcached.
> echo "stats settings" | nc localhost 11211
STAT maxbytes 67108864
STAT maxconns 1024
STAT tcpport 11211
STAT udpport 11211
STAT inter 127.0.0.1
STAT verbosity 3
STAT oldest 0
STAT evictions on
STAT domain_socket NULL
STAT umask 700
STAT growth_factor 1.25
STAT chunk_size 48
STAT num_threads 4
STAT num_threads_per_udp 4
STAT stat_key_prefix :
STAT detail_enabled no
STAT reqs_per_event 20
STAT cas_enabled yes
STAT tcp_backlog 1024
STAT binding_protocol auto-negotiate
STAT auth_enabled_sasl no
STAT item_size_max 10485760
STAT maxconns_fast no
STAT hashpower_init 0
STAT slab_reassign no
STAT slab_automove no
END

所以似乎有好消息和坏消息：ITEMSIZEMAX已经改为大约10 MB，但是maxbytes仍然默认为67 MB。

真正的问题是我仍然无法存储密钥＆gt; 1 MB！

如果我运行以下Python脚本，则在尝试存储大小为~0.4 MB的numpy数组时会失败

from django.core.management import setup_environ
from myapp import settings
setup_environ(settings)

key = "test_key"

def store_test(val):
 cache.set(key, val)
 if cache.get(key) is not None:
  cache.delete(key)
  return True
 else:
  return False

from django.core.cache import cache
from numpy import arange

i = 10
while i <= 1000000:
 yes = store_test(arange(i))
 if yes:
        print "stored", i, "successfully"
 else:
        print "failed to store", i
        print "bytes:", arange(i).nbytes
 i *= 10

当然，要运行此代码，您需要将'myapp'替换为包含settings.py文件的有效Django模块。

任何人都可以复制问题，帮我调试，或建议解决方案吗？

** 编辑 **

我写了一个bash脚本来直接测试memcached而不是通过Python，奇怪的是它似乎工作了！

for i in 10 1000 10000 100000 1000000 2000000 10000000 11000000
do
        bytes=$(yes | head -n $i | tr -d '\n')
        echo doing $i bytes
        (echo delete key; echo set key 0 900 $i; echo $bytes; echo get key; sleep 1) | telnet localhost 11211 > output_$i
        outputsize=$(stat -c%s "output_$i")
        echo output size is $outputsize - should be about $(($i+110))
done
echo delete key | telnet localhost 11211
~

Answer 1

所以我以前似乎无法找到它，但显然这个问题已经得到了回答。

Django caching a large list

问题是memcached和Django的memcached绑定都设置了1 MB的限制。我很确定这是一个错误 - python绑定应该尊重memcached的实际配置。显然，新值必须是硬连线的。

在django memcached中存储大键的明显错误

1 个答案: