在音频文件语音到文本 microsoft sdk

Question

我正在使用 Speech-To-Text Microsoft SDK for Javascript 创建 VTT 文件。 SpeechRecognizer 类有一个名为 recognized 的方法，它有一个 JSON，其中包含单词的偏移量和持续时间，如果在音频文件。

例如，如果有 3 分钟的音频并且在前 10 秒内有人说话，这意味着这些第一个识别的单词将有适当的偏移，但如果在 1.5 分钟内没有人说话，然后是直线在这个间隙之后有人开始说话，那么下一个识别的单词将有一个无效的偏移量（而不是 90 秒的偏移量，而是 1.8 秒的偏移量）。

有没有办法解决这个问题？

这是正在使用的代码：

    const sdk = require("microsoft-cognitiveservices-speech-sdk");
    
    let recognizer = new sdk.SpeechRecognizer(speechConfig, audioConfig);
    
    recognizer.recognized = (s, e) => {
      if (e.result.reason == sdk.ResultReason.RecognizedSpeech) {
        const resultJSON = JSON.parse(e.result.json);
        const offset = resultJSON.Offset * Math.pow(10, -7);
        console.log('recognized! offset: ', offset);
        console.log('event! offset: ', e.offset);
        console.log('event! offset: ', resultJSON['NBest'][0]['Words']);
        const duration = offset + resultJSON.Duration * Math.pow(10, -7);
        const displayText = resultJSON.DisplayText;
        vttInstance.add(offset, duration, displayText);
      } else if (e.result.reason == sdk.ResultReason.NoMatch) {
        console.log("NOMATCH: Speech could not be recognized.");
      }
    };

    recognizer.startContinuousRecognitionAsync();

下图是具有上述确切示例场景的示例输出。 第二个单词数组应包含从 103.65 秒开始的偏移量。 （注意：值以第 100 纳秒为单位）。