我会做一个小小的介绍:我在c#中使用小屏幕共享项目,我使用Tcp Protocol
发送数据。基本上我从GDI调用BitBlt
方法,它的工作做得很好。在第一次发送整个缓冲区,然后迭代并仅发送更改的像素。
我发送的缓冲区中的每个字节代表一个组件(以 Rgba 顺序) - 这是一个小数组,用于简短示例:
byte[] pixelarray = { 45, 201, 173,1 };
//R=45,G=201,B=173,Alpha=1(always 1 on screen).
让我们继续前进。
我的屏幕是1920x1080(在我的情况下),所以实际上 1920x1080x4 (每个像素是4个字节) =最多8,294,400像素。
使用Gzipstream
压缩将此大小减小到~250kb。这是我第一次发送的内容。之后,我只是比较每个BitBlt
捕获的字节数组,并仅发送更改的像素。它看起来像那样:
public void StartAsync(ScreenFrame frame)
{
using (var memoryStream = new MemoryStream())
{
for (var i = 0; i < frame.NewPixels.Length; i += 4)
{
memoryStream.WriteByte(frame.NewPixels[i]);
memoryStream.WriteByte(frame.NewPixels[i + 1]);
memoryStream.WriteByte(frame.NewPixels[i + 2]);
}
byte[] data = compress(memoryStream.ToArray());//compress gzip.
SendVarData(data);//this is a simple function to send it on a socket.
}
}
public void DeltaAsync(ScreenFrame frame)
{
using (var memoryStream = new MemoryStream())
{
for (var i = 0; i < frame.NewPixels.Length; i += 4)//loop through buffers and write only differnt bytes.
{
if (frame.NewPixels[i] == frame.PreviousPixels[i] &&
frame.NewPixels[i + 1] == frame.PreviousPixels[i + 1] &&
frame.NewPixels[i + 2] == frame.PreviousPixels[i + 2])
continue;
memoryStream.Write(BitConverter.GetBytes(i), 0, 4);//write the index.
memoryStream.WriteByte(frame.NewPixels[i]);
memoryStream.WriteByte(frame.NewPixels[i + 1]);
memoryStream.WriteByte(frame.NewPixels[i + 2]);
}
byte[] buff = compress(memoryStream.ToArray());//compress gzip.
SendVarData(buff);
}
}
在另一方处理和应用更改不是我的主要问题。 我真正的瓶颈是带宽使用。在桌面上稍作更改时,例如当用户右键单击鼠标并打开经典菜单时,发送的数据是(压缩后!)大约120~150kb! 我真的很想优化它..我不能让我的程序通过网络发送大量数据时,只有一点点变化...... 如你所见,我已经使用
gzip压缩(提供高压缩率)。
只写差异。
我正在寻找优化网络理念的方法......我会非常非常了解任何传入的帮助,因为我很长时间不知所措并试图考虑某事可以帮助......
感谢。
答案 0 :(得分:1)
对屏幕的更改通常会影响矩形块中的所有(或大多数)字节。您的压缩效率低(与其他远程查看器应用程序相比),因为它没有考虑到这一点。一种方法是尝试识别已经改变的区域的边界,然后发送用png之类的东西压缩的整个区域。但实际上你应该研究png和其他图像压缩算法对2d数据执行的变换,以使它们更具可压缩性。
变换是对数据压缩步骤之前应用的图像数据的可逆操作,旨在使数据更易于压缩。一个变换可能是从上面的行中的像素中减去像素值。如果图像从一行到下一行的变化不大,则会从中获得大量的零,这比每行的实际像素数据更具可压缩性。