Question

我遇到了YEDIS与yugabyte接口的连接限制（或内部rpc连接限制）的情况。

此限制约为800个并发连接。一段时间后，以下内容将引发错误：

java -jar ./yb-sample-apps.jar \
 --workload RedisKeyValue \
 --nodes 127.0.0.1:6379  \
 --nouuid \
 --value_size 256 \
 --num_threads_read 0 \
 --num_threads_write  800  \
 --num_unique_keys 1000000000

错误看起来像这样：

tablet: f9b5581437774f97979c868e283c628d, num_ops: 1, num_attempts: 5, txn: 00000000-0000-0000-0000-000000000000) passed its deadline 57037.830s (passed: 3.851s

但这似乎可以无限期地运行：

java -jar ./yb-sample-apps.jar \
 --workload RedisKeyValue \
 --nodes 127.0.0.1:6379  \
 --nouuid \
 --value_size 256 \
 --num_threads_read 0 \
 --num_threads_write  500  \
 --num_unique_keys 1000000000

如何提高连接限制？还是这是一个错误？ 800个连接对我的应用程序来说还远远不够。我的应用程序最多可以同时连接8,000个连接。

据我所知，我的ulimit设置很好：

[root@72c14ca48af1 yugabyte]# ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 29892
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1048576
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimited
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Answer 1

感谢您报告此问题，并在YugaByte备用频道上提供了其他输入，以帮助隔离此问题。

事实证明这里有两个问题：

a）单独启动yb-tserver时，它假定它可以使用85％的系统RAM（并且这是可配置的），但是yb-ctl仅用于启动测试集群默认情况下，为yb-tserver进程提供1GB的RAM。

b）对于Redis连接，每个连接的固定开销为1MB。因此，在大约8000个连接时，此开销本身将需要大约8GB的内存。这由redis_rpc_block_size yb-tserver gflag（默认值为1MB）控制。

由于这两个因素，对系统的写入被拒绝，并出现以下错误：

I0624 21:32:28.317205  6772 maintenance_manager.cc:341] we have exceeded our soft memory limit (current capacity is 136.82%).  However, there are no ops currently runnable which would free memory.

以下替代项应能解除您的工作负担：

 ./yb-ctl destroy
 ./yb-ctl start --disable_ysql --tserver_flags="redis_rpc_block_size=131072,memory_limit_hard_bytes=6000000000"
 ./yb-ctl setup_redis

上述memory_limit_hard_bytes的〜6GB值假定您有一台8GB的计算机。请注意，yb-master的内存要求不是很高。

接口连接限制配置

1 个答案: