有没有办法告诉Python请求/ urllib3在一段时间后不重用空闲连接,然后关闭它们?
查看https://urllib3.readthedocs.io/en/latest/reference/index.html#module-urllib3.connectionpool似乎没有显示任何相关内容。
答案 0 :(得分:3)
记住:
连接池是维护数据库连接的缓存,因此 当将来向服务器发送请求时,可以“重用”连接 数据库是必需的。
您可以通过多种方式执行此操作(我想):
如果一次失败,这将中断您的连接。要设置它:
import requests
s = requests.Session()
a = requests.adapters.HTTPAdapter(max_retries=1) # is zero for default
s.mount('http://', a)
“ pool_connections”是要保留的主机池数。例如,如果您要连接到100个不同的主机和pool_connections=10
,则将仅重用最近的10个主机的连接。设置:
s = requests.Session()
s.mount('https://', HTTPAdapter(pool_connections=1))
s.get('https://www.example.com')
这将停止池的重用。
仅当您在多线程环境中使用Session时,才可以解决此问题。要设置它:
s = requests.Session()
s.mount('https://', HTTPAdapter(pool_connections=1, pool_maxsize=1))
he:class:~connectionpool.ConnectionPool
类保留着单个:class:~connection.HTTPConnection
实例的池。这些连接在单个请求期间使用,并在请求完成后返回到池中。默认情况下,将仅保存一个连接以供重用。要设置它(默认情况下是):
from urllib3 import HTTPConnectionPool
pool = HTTPConnectionPool('www.example.com', maxsize=0) #likely to slow you down cuz it never stores the pools
maxsize –可以重复使用的保存连接数。在多线程情况下,大于1是有用的。
PoolManager使用最近最少使用(LRU)策略来丢弃旧池。也就是说,如果将PoolManager num_pools
设置为10,则在向11个或更多不同的主机发出请求后,最近使用最少的池将最终被清除。为此:
from urllib3 import PoolManager
manager = PoolManager(1) # not the manager cleans up pools used for one time
r = manager.request('GET', 'http://www.example.com/')
此外,医生说:
清除陈旧的池不会立即发生。
为此,请使用RecentlyUsedContainer(文档仅包含一行)。
注意:
设置参数,如果PoolManager影响所有连接的池 从而。
希望这对您有帮助。获取高级用法文档HERE。
答案 1 :(得分:0)
首先,您可以定义num_pools
变量,以便如果它超过已创建的池的值,则它将丢弃最近最少使用的池。您还可以在连接上设置timeout
,以使连接可以在超时后自动关闭。我也找不到任何确定空闲连接的东西,但是我想这可能会有所帮助
https://laike9m.com/blog/requests-secret-pool_connections-and-pool_maxsize,89/