OpenTok实时音频转录

时间:2020-09-14 16:06:22

标签: opentok transcription

我正在尝试在OpenTok会话中实时转录音频。 OpenTok API似乎没有该功能。我有什么办法可以以某种形式捕获数据并将其推送到另一个进行转录的脚本/工具中?

问题不在于转录,而是在访问实时音频流数据并实时使用。

1 个答案:

答案 0 :(得分:1)

您可以使用客户端SDK中的https://tokbox.com/developer/sdks/js/reference/OT.html#getUserMedia访问视频/音频流(MediaStream)。

您可以使用WebAudio规范中可用的API来操纵音频。

发布来自音频MediaStreamTrack对象的音频。例如,您可以使用AudioContext对象和Web Audio API动态生成音频。然后,您可以在AudioContext对象上调用createMediaStreamDestination()。stream.getAudioTracks()[0],以获取音频MediaStreamTrack对象,将其用作传递给OT.initPublisher()方法的options对象的audioSource属性。有关基本示例,请参阅GitHub上的立体声音频示例OpenTok-web-samples回购。

以上GitHub示例是关于注入音频流的。但是,您也可以在注入音频之前提取/捕获音频。在这里查看详细信息... https://developer.mozilla.org/en-US/docs/Web/API/Web_Audio_API