我做了什么:
我在Kurento Media Server中创建并安装了opencv模块插件。我将约束设置为宽度 - 640和 frameRate - 30.现在我在Opencv插件进程方法中获得大约35帧。
之后,我在进程方法中添加了人脸检测过滤器。现在我大约需要20到25帧。面部检测过程花了一些时间。所以远程流媒体会有一些延迟。
现在,我可以通过执行一些计数器逻辑来跳过插件中的帧。
我想要的是什么:
1)但我想跳过JS客户端的框架。是否可以跳过客户端JS的框架?
2)默认情况下,KMS中是否有可用的端到端FPS计算?
3)是否可以将灰度帧从JS客户端发送到KMS插件?如果是,我如何在JS客户端中将彩色帧更改为灰度帧?
答案 0 :(得分:1)
1)但我想跳过JS客户端的框架。是否可以跳过客户端JS的框架?
不是我意识到的。您可以使用CSS转换镜像视频和类似的内容,但我不认为您可以跳过客户端中的帧。
但是,您可以通过实例化限制该帧速率的capsfilter
来限制客户端接收的帧速率。您需要将该过滤器放在将视频返回给客户端的端点之前。
2)默认情况下,KMS中是否有可用的端到端FPS计算?
不在KMS中。您可以在客户端的传入/传出流中检查它。您想要查找RTCMediaStreamTrackStats。 Here是关于RTCPeerConnection中统计信息API的SO答案。
3)是否可以从JS客户端将灰度帧发送到KMS插件?如果是,我如何在JS客户端中将彩色帧更改为灰度帧?
也许您可以试用this代码。我刚刚检查了演示,但我想你可以获得该媒体流并将其发送到KMS而不会有太多麻烦。另请查看Media Capture Extensions。