大多数带宽有效的单向同步(服务器到多个客户端)

时间:2009-01-25 22:21:41

标签: networking synchronization bandwidth

单向将数据列表从一台服务器同步到多台客户端的带宽效率最高的方法是什么?

我有相当大的数据块(可能是20,000个,50个字节的记录),我需要通过Internet定期与一系列客户端同步(可能是10,000个客户端)。记录可以仅在服务器端添加,删除或更新

2 个答案:

答案 0 :(得分:1)

类似于bittorrent的东西?甚至使用bittorrent。或者可能围绕bittorrent创建一个包装器。

(假设您为服务器而不是其他服务器支付带宽......)

答案 1 :(得分:0)

好的,我们现在已经有了一些细节 - 可能每3天有10 GB的总(未压缩)数据,因此每月100 GB。

这些日子实际上并不是一大块数据。您试图保存哪些带宽 - 您的或您的客户?

数据是否可能非常容易压缩?对于原始二进制数据,实现50%压缩并不罕见,如果数据中有大量重复模式,则可能达到80%+。

那就是说,如果你真的需要一个可以转移变化的系统,我的想法是:

  1. 确保您有一个定义明确的主键字段 - 将其用作识别每条记录的键
  2. 记录每条记录的时间戳,以说明上次更改的时间
  3. 让每个客户端告诉您它知道的最后一次更改的时间戳,以便您可以计算增量
  4. 确保也可以完全下载,以防客户端失去同步