什么是通过线路发送大数据的有效方法？

Question

我有一个字符串列表List<string>。实际上是文件路径列表。我需要将它发送到网络服务。该清单可包含大量物品（1 000 - 10 000）。

实现这一目标的最有效方法是什么？考虑到消息的有效载荷非常高。

我在寻求想法和原则，而不是代码样本。

非常感谢。

Answer 1

对于路径 - 首先（或者更确切地说：最后）gzip或deflate它。如果大量的东西会有共同的根源，那么可能会嵌套这些数据吗？

即。所以

/foo/bar/blap/a/b
/foo/bar/blap/c/d

变为

/foo/bar/blap
 /a/b
 /c/d

除此之外 - 有效载荷将远远超过任何协议开销等，因此使用任何协议等使您的生活变得简单。

Answer 2

只是使用压缩。 gzip或deflate stream。字符串压缩比非常好。

Answer 3

如果您遇到某种通信协议，可能会考虑使用chuncking。

Answer 4

序列化与已经建议的通货紧缩技术相结合，非常高效和可靠。