我正在Ubuntu虚拟机上运行Python Scrapy抓取工具。即使将并发连接数设置为10000，它也可以一次从一个网站抓取200个页面。如果我启动同一刮板的另一个进程，则这2个进程实际上将在这2个进程之间每分钟拆分200页-仍然没有增加并发连接的总数。但是，如果我启动一个新的虚拟机（与其他虚拟机共享相同的IP），则这两个虚拟机组合可以实现400个并发连接。任何人都知道造成此限制的原因或解决方法吗？
我在以下问题中尝试过以下建议：增加Ubuntu tcp / ip连接，但没有任何运气。 Increasing the maximum number of tcp/ip connections in linux