urllib.request页面大于内存

Question

有没有办法处理来自urllib.request.urlopen（req）的数据流，以便可以在chuncks中处理它？<​​/ p>

我的机器数量有限，我正在拉动一个可能比我机器上的内存大小更大的API调用，并导致内存不足异常。

我目前正在执行以下命令：

resp = json.loads(urllib.request.urlopen(req).read().decode())

Answer 1

尝试逐行处理，这可能会降低内存大小。

req = urllib.request.urlopen(req)
data = ''
for line in req:
     line = line.decode()
     data += line
data = json.loads(data)