Question

我正在使用urllib.request.urlopen（）从我正在尝试测试的网络服务中获取。

这将返回一个HTTPResponse对象，然后我读取（）以获取响应主体。

但是我总是看到一个关于socket.py

的未封闭套接字的ResourceWarning

以下是相关功能：

from urllib.request import Request, urlopen

def get_from_webservice(url):
    """ GET from the webservice  """
    req = Request(url, method="GET", headers=HEADERS)
    with urlopen(req) as rsp:
        body = rsp.read().decode('utf-8')
        return json.loads(body)

以下是程序输出中显示的警告：

$ ./test/test_webservices.py
/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/socket.py:359: ResourceWarning: unclosed <socket.socket object, fd=5, family=30, type=1, proto=6>
self._sock = None
.s
----------------------------------------------------------------------
Ran 2 tests in 0.010s

OK (skipped=1)

如果我可以对HTTPResponse（或请求？）做任何事情以使其干净地关闭其套接字，我真的很想知道，因为这段代码适用于我的单元测试;我不喜欢无视任何地方的警告，但尤其不在那里。

Answer 1

我不知道这是的答案，但这是答案的一部分。

如果我将标题“connection：close”添加到我的Web服务的响应中，HTTPResponse对象似乎在没有警告的情况下正确清理。

事实上，HTTP Spec（http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html）说：

不支持持久连接的HTTP / 1.1应用程序必须在每条消息中包含“关闭”连接选项。

所以问题发生在服务器端（即我的错！）。如果您无法控制来自服务器的标头，我不知道您可以做什么。

Answer 2

我在urllib3上遇到了同样的问题，我只是添加了一个上下文管理器来自动关闭连接：

import urllib3

def get(addr, headers):
    """ this function will close the connection after a http request. """
    with urllib3.PoolManager() as conn:
        res = conn.request('GET', addr, headers=headers)
        if r.status == 200:
            return res.data
        else:
            raise ConnectionError(res.reason)

请注意，urllib3旨在具有连接池并为您保持连接活动。如果需要发出一系列请求，例如，这样可以大大加快您的应用程序的速度。很少调用后端API。

请在此处阅读urllib3文档重新连接池：https://urllib3.readthedocs.io/en/1.5/pools.html

PS ，您还可以使用 requests lib，它不是Python标准库的一部分（在2019年），但功能非常强大且易于使用使用：http://docs.python-requests.org/en/master/

使用Python 3中的urllib进行socket ResourceWarning

2 个答案: