我如何在通过put请求发送json数据之前将其分批处理？

Question

我有一个脚本，该脚本通过json格式的get请求检索数据，并通过put请求将其推送到数据库中。 我正在处理大量数据并经常导致服务器超时，因此我一直在寻找一种批处理数据并将其分块发送到服务器的选项。

这是我用于将数据推送到api的代码。

data = source_response.json()
if url == "device":
    for i, dev in enumerate(data):
        for k in dev.keys():
            if isinstance(dev[k],str): data[i][k] = str(data[i][k]).encode('ascii', 'ignore').decode("latin-1")

target_response = requests.put(target_url + url + "/json", json=data, headers=target_headers)
assert target_response.status_code == 200, f"{target_url + url} -> Expected 200, but received {target_response.status_code}"