使用webrtc和文本轨道传递与视频帧同步的实时元数据

Question

我使用WebRTC（win c ++原生客户端）向对等方播放实时视频（托管在Chrome中）。
目标：沿每个视频帧发送元数据（帧级别的元数据更改）。

1. 是否可以在文本轨道中发送元数据以供对等方使用javascript使用？
   
2. 如果没有，是否有其他方法可以将WebRTC实时视频与元数据同步？例如，使用WebRTC DataChannel / WebSockets？

Answer 1

否。

目前，WebRTC实现（或规范）没有同步，也没有逐帧将数据与视频同步的功能。对于将来的WebRTC规范，正在研究这一点。

有些供应商在其SDK中提供了这样的功能，但这仅限于其本机SDK，在基于浏览器的JS SDK中不起作用。

Answer 2

我想您需要此功能

https://webrtc.googlesource.com/src/+/77c8e65b88c9d2d95442b66ada504e0f1c553d66

更新多路复用编码器以支持将增强数据附加到视频