将视频流/图像发送到websocket服务器

Question

我正在开发一个处理图像的应用程序。拥有HTML前端我必须从网络摄像头捕获图像（使用视频标记）并连续发送到服务器。然后将分析图像，并且当检测到对象（x，y，z）时，将要将点发送回客户端。

我现在有两个近似值：

1.-不断捕获帧（使用不可见的画布并先前在帧中加载）并使用Base64编码将它们发送到服务器。 （例如Capture frames from video with HTML5 and JavaScript）
优点：
- 易于实施。

缺点：
- 非常慢。许多图像将被连续发送，应该非常快速地处理。 （在这种情况下，图像必须在到达时保存并在处理后删除）

2.-发送视频流并处理服务器中的所有帧。
优点：
- 数据发送速度非常快
缺点：
- 复杂。我不知道如何实施它

有关如何制作的提示？

Answer 1

首先，您不应该使用Websockets，因为它是一种解决方法。 您应该更好地使用WebRTC，它将直接从网络摄像头捕获帧，然后它将在VP8编解码器中编码帧并发送到服务器。

因此，在服务器端，您可以使用libvp8解码图片并识别所需的对象。所以你需要的只是一台能够接收WebRTC流并访问解码图片以便进一步处理的服务器。