使用Python进行分块HTTP上传

Question

我开发了一个REST api来处理文件上传。由于系统处理大文件，因此api使用分块编码处理上传。使用JQuery的文件上传插件，api可以正常工作，因此服务器端没有问题。

我目前正在使用python脚本对大量大文件进行批量处理。 但是我找不到任何关于如何使用python进行分块上传的示例，代码片段或指南。 我查了一下urllib2，httplib但我无法让它工作。我也陷入了卷曲但没有任何运气。

Answer 1

您需要将文件上传为多部分表单数据。可以通过将编码类型设置为“multipart / form-data”来完成卷曲。可以使用类似于此处提到的内容来完成类似的上传 - Using MultipartPostHandler to POST form-data with Python

Answer 2

您可以使用example中显示的Pycurl。如果省略pycurl.INFILESIZE设置，Pycurl将执行 chunked 上传，因为它不知道要上传的数据的大小。