Question

我正在使用Microsoft.MixedReality.WebRTC库，并且打算将其用于下一个项目-实时视频聊天应用程序。我已经能够建立连接并传递视频帧。

如何正确渲染那些框架并将其显示为视频？

使用WPF的MediaElement似乎很容易，但是我只能输入一个Uri对象作为源，而不能将其输入AFAIK单帧。

我已经读过，绘制位图是一种可能的解决方案，但是我敢肯定，这意味着需要花费大量时间重新设计车轮和测试，除非没有其他方法，否则我不愿意这样做。

该库的工作方式如下： 每次客户端收到新帧时，都会引发Argb32VideoFrameReady事件。然后，将Argb32VideoFrame结构对象传递给回调，该回调包含原始数据的IntPtr。还提供了Height，Width和Stride。

More Information on the specific struct here

我可以通过哪些方式实现这一目标？

我打算使用WPF。该解决方案应针对Windows 7+和.Net Framework 4.6.2。

谢谢。

Answer 1

在XAML中带有Image元素

<Image x:Name="image"/>

下面的简单方法将直接将框架复制到分配给Image的Source属性的WriteableBitmap中。

private void UpdateImage(Argb32VideoFrame frame)
{
    var bitmap = image.Source as WriteableBitmap;
    var width = (int)frame.width;
    var height = (int)frame.height;

    if (bitmap == null ||
        bitmap.PixelWidth != width ||
        bitmap.PixelHeight != height)
    {
        bitmap = new WriteableBitmap(
            width, height, 96, 96, PixelFormats.Bgra32, null);
        image.Source = bitmap;
    }

    bitmap.WritePixels(
        new Int32Rect(0, 0, width, height),
        frame.data, height * frame.stride, frame.stride);
}

来自此处的ARGBVideoFrame：https://github.com/microsoft/MixedReality-WebRTC/blob/master/libs/Microsoft.MixedReality.WebRTC/VideoFrame.cs

PixelFormats.Bgra32似乎是正确的格式，这是由于对该结构的注释：

ARGB分量按32位小端字节顺序排列，因此0xAARRGGBB或（B，G，R，A）作为内存中的字节序列，B优先，A末尾。

如何从ARGB帧渲染视频

1 个答案: