我需要一堆从1MB到1TB的数据日志，需要从网页上下载这些日志。
这些日志来去去去，每个日志都从很小开始，直到最大1TB，然后闲逛一会儿，然后将其存档并从我的护理中删除。
增长速度和并发日志的数量是无法预测的，因此我需要创建一个系统，该系统可以动态地声明并从云中释放服务器。
如果我只为每个日志保留整个TB的存储空间，那么这一切都会很简单，但这也将是一笔巨大的金钱浪费，因为在任何给定时间，日志平均只有TB的一半。
所以..最好是将文件分割成文件，并在数据输入时将它们部分存储在多个服务器上，但这使它们很难在常规网页上下载。
我的第一个想法是获取每个文件的片段并在浏览器中进行组装，这必须依靠fileSystem API，尽管这仍然被认为是试验性的，并非在所有浏览器中都可用。
另一种选择是从具有最大块的服务器开始下载，并将所有丢失的片段从其他服务器流式传输到该服务器中，然后再传输给用户。这将是昂贵的，因为此云没有内部网络的概念，而带宽将使我花费相同。
我一直在互联网上寻找解决方案，但到目前为止没有任何发现。从理论上讲，它是如此简单，只需让浏览器将多个请求一一发送到多个服务器，然后依次将其全部存储起来即可。但是实际上，我没有发现HTTP或FTP协议中的任何实际允许这样做的东西。有什么我想念的吗？