我在增加aws cli中的max_concurrent_requests时遇到了一些问题。
我正在尝试最大化s3和c38 xl之间的吞吐量。
实例详细信息：C38：实例类型vCPU内存（GiB）存储（GB）网络性能
c3.8xlarge 32 60 2 x 320 SSD 10 Gigabit
我正在从S3下载到EC2。
输入描述：•S3路径：https://s3.console.aws.amazon.com/s3/buckets/dummy•总数据大小为20GB的存储桶。 •目标文件大小：2MB•文件数：10239•数据已完全压缩：文件包含随机字节。 [使用openssl rand“$ filbytes”-out file]
输出描述：•/ dev / shm中的目录，因为RAM明显快于磁盘存储。
在调用单个cp命令时：
time aws s3 cp --recursive s3：// dummy /。
[ec2-user @ ip ..~] $ lsof -i tcp：443 |尾巴-n + 2 | wc -l 11
我想增加并发进程，我正在使用aws configure属性：http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#configuration-values
max_concurrent_requests¶=＆gt;默认 - 10
当我将其设置为30 [ec2-user @ ip-172-31-46-110 palpal]时，$ aws configure set default.s3.max_concurrent_requests 30
我明白了：
[ec2-user @ ip-172-31-46-110~] $ lsof -i tcp：443 |尾巴-n + 2 | wc -l 31 [有时甚至是32/33/34]
当我将它配置为高于30时，它仍然停留在同一个数字附近。
[ec2-user @ ip-172-31-4] $ aws configure set default.s3.max_concurrent_requests 400
[ec2-user @ ip-172-31-46-110~] $ lsof -i tcp：443 |尾巴-n + 2 | wc -l 32
使用此：https://aws.amazon.com/blogs/apn/getting-the-most-out-of-the-amazon-s3-cli/作为参考。
我不确定这里发生了什么。
任何线索都会有所帮助：）
答案 0 :(得分：0)
可能取决于服务器上具有的内核/ vCPU数量。
你检查了吗？
nproc
或
grep processor /proc/cpuinfo | tail -1 | tr -dc '[0-9]' | xargs expr 1 +