使用REST API可以流式传输到azure数据湖商店的最大文件大小是多少？

Question

我读到第一个块可以是256MB，每个额外的块只能是4MB？

有人可以确认或否认吗？

https://docs.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis

Answer 1

通过REST API，您可以传输任何大小的文件。首选方法是使用CREATE后跟多个APPEND调用。每次传输的建议大小为4MB或更低。

虽然不推荐，但也可以在单个REST API调用中传输更大的块。您需要在此模式下将Transfer-Encoding设置为Chunked。见这里：https://en.wikipedia.org/wiki/Chunked_transfer_encoding。但是，使用它有一些细微差别。通话中的任何单个块都可能失败。在这种情况下，您需要确定恢复总体转移失败的时间点。 4MB以上的块也不能保证原子化。