快速在服务器之间传输大数据

Question

这是一个常见的问题，但谷歌搜索这给了很多废话。

随着数据量越来越高，处理能力和处理能力都在不断增加。云功能，我们正在目睹对快速数据传输技术的日益增长的需求，这些技术能够通过在不同服务器/客户端之间传播/移动/共享来释放所有这些可用数据的能力。

在我们的情况下，我们正在记录实时二进制数据（每天50 Gigs），我们需要每天上传/下载到订阅者/从订阅者下载（是的，每个订阅服务器都需要本地二进制数据，计算和各种数据分析的东西）

所以很快，今天有什么选择可以在远程Windows服务器之间快速传输许多GIG数据（VPS，Cloud，具有“相当”一致的bandwitdth - （光纤放置）除了））

这是一个悬而未决的问题。无论协议如何，每个想法都是受欢迎的。

Answer 1

通过网络发送和接收数据的挑战是多方面的。

1. 网络带宽是最大限制因素，在应用程序级别几乎无法为此做任何事情（除了偶尔压缩数据，甚至在这种情况下压缩比率决定了获得）。因此，更快的网络是首选。

2. 某些协议更适合传输某些类型的文件/数据。例如，http是基于文本的协议，并且不太适合二进制和大内容。但由于它是最受欢迎的网络协议，需要通过网络发送二进制内容，因此encoding and chunking等技术已经发展。如果你的数据符合GB的顺序，那么HTTP 确实不是选择。

3. FTP 是最常用于通过网络传输文件的协议，专门用于传输文件。 FTP有几种扩展，例如GridFTP，bbftp，它们非常专门为大数据传输设计。

4. BitTorrents是另一种可以探索的选择。 Facebook使用BitTorrents将二进制文件推送到服务器（数量上数万个）。

你的问题是非常开放的，我受限于我的经验:)。 Here is link我发现了哪些大数据传输交易。希望这会对你有所帮助。