Question

我使用WebSocket进行实时转录，通过tutorial处理IBM Watson Speech-to-Text。我正在使用Angular。

前25行代码是从API reference复制的。此代码成功连接并启动识别请求。沃森给我发了一条消息{ "state": "listening" }。

我写了function onClose()，在连接关闭时记录。

我创建了一个运行处理程序$scope.startSpeechRecognition的按钮。这使用getUserMedia()来传输来自麦克风的音频，并使用websocket.send()将数据流式传输到Watson。这不起作用。单击此按钮可关闭连接。我认为我发送错误类型的数据并且Watson正在关闭连接？

我将websocket.send(blob);从onOpen移到我的处理程序$scope.startSpeechRecognition。我将websocket.send(blob);更改为websocket.send(mediaStream);。我可能有这个错误：'content-type': 'audio/l16;rate=22050'。我怎么知道麦克风的比特率是多少？

是否有JavaScript教程？当我google＆＃34; IBM Watson Speech-to-Text JavaScript教程＆＃34;在顶部是8000-line SDK。是否需要SDK，或者我可以编写一个简单的程序来了解该服务的工作原理吗？

这是我的控制人员：

'use strict';
app.controller('WatsonController', ['$scope', 'watsonToken',  function($scope, watsonToken) {
  console.log("Watson controller.");

  var token = watsonToken;
  var wsURI = "wss://stream.watsonplatform.net/speech-to-text/api/v1/recognize"
    + "?watson-token=" + token + '&model=en-US_BroadbandModel';

  var websocket = new WebSocket(wsURI); // opens connection to Watson
  websocket.onopen = function(evt) { onOpen(evt) }; // executes when a connection opens
  websocket.onclose = function(evt) { onClose(evt) }; // executes when a connection closes
  websocket.onmessage = function(evt) { onMessage(evt) }; // logs messages from Watson to the console
  websocket.onerror = function(evt) { onError(evt) }; // logs errors to the console

  function onOpen(evt) {
    var message = {
      action: 'start',
      'content-type': 'audio/flac',
      'interim_results': true,
      'max-alternatives': 3,
      keywords: ['colorado', 'tornado', 'tornadoes'],
      'keywords_threshold': 0.5
    };
    websocket.send(JSON.stringify(message));

    // Prepare and send the audio file.
    // websocket.send(blob);

    // websocket.send(JSON.stringify({action: 'stop'}));
  }

  function onClose() {
    console.log("Connection closed.");
  };

  function onMessage(evt) {
    console.log(evt.data); // log the message to the console
  }

  $scope.startSpeechRecognition = () => {
    console.log("Starting speech recognition.");
    var constraints = { audio: true, video: false };
    navigator.mediaDevices.getUserMedia(constraints)
    .then(function(mediaStream) {
      console.log("Streaming audio.");
      websocket.send(mediaStream);
    })
    .catch(function(err) { console.log(err.name + ": " + err.message); }); // log errors
  };

  $scope.stopSpeechRecognition = () => { // handler for button
    console.log("Stopping speech recognition.");
    websocket.send(JSON.stringify({action: 'stop'}));
  };

  $scope.closeWatsonSpeechToText = () => { // handler for button
    console.log("Closing connection to Watson.");
    websocket.close(); // closes connection to Watson?
  };

}]);

这是我的模板：

<div class="row">
  <div class="col-sm-2 col-md-2 col-lg-2">
    <p>Watson test.</p>
  </div>
</div>

<div class="row">
  <div class="col-sm-2 col-md-2 col-lg-2">
    <button type="button" class="btn btn-primary" ng-click="startSpeechRecognition()">Start</button>
  </div>

  <div class="col-sm-2 col-md-2 col-lg-2">
    <button type="button" class="btn btn-warning" ng-click="stopSpeechRecognition()">Stop</button>
  </div>

  <div class="col-sm-2 col-md-2 col-lg-2">
    <button type="button" class="btn btn-danger" ng-click="closeWatsonSpeechToText()">Close</button>
  </div>
</div>

Answer 1

The SDK不是必需的，但正如Geman Attanasio所说，它确实让你的生活更轻松。

在你的代码上，这条线肯定不会起作用：

websocket.send(mediaStream);

getUserMedia()中的mediaStream对象无法通过WebsSocket直接发送 - WebSockets只接受文本和二进制数据（原始示例中为blob）。你必须提取音频，然后只发送它。

但在这种情况下即使这还不够，因为WebAudio API提供32位浮点音频，这不是Watson API原生理解的格式。 SDK自动提取并将其转换为audio/l16;rate=16000（16位整数）。

我怎么知道麦克风的比特率是多少？

AudioContext上可以使用它，如果您添加scriptProcessorNode，则可以传递AudioBuffers，其中包含音频数据和采样率。将采样率乘以每个采样的大小（在转换为l16之前为32位，之后为16位）乘以通道数（通常为1）以获得比特率。

但请注意，您在rate=之后输入内容类型的数字是采样率，而不是比特率。所以你可以从AudioContext或AudioBuffer中复制它而不需要乘法。（除非你像SDK一样对音频进行下采样。然后它应该设置为目标采样率，而不是输入速率。）

如果您想了解所有这些是如何工作的，整个SDK都是开源的：

从mediaStream中提取音频：https://github.com/saebekassebil/microphone-stream/blob/master/microphone-stream.js
转换＆amp;下采样：https://github.com/watson-developer-cloud/speech-javascript-sdk/blob/master/speech-to-text/webaudio-l16-stream.js
管理WebSocket：https://github.com/watson-developer-cloud/speech-javascript-sdk/blob/master/speech-to-text/recognize-stream.js

阅读这些文件时，熟悉Node.js Streams standard非常有用。

FWIW，如果你正在使用像Browserify或Webpack这样的捆绑系统，你可以只选择你需要的SDK部分，并获得更小的文件大小。您也可以在页面加载和渲染后将其设置为下载，因为SDK不会成为初始渲染的一部分。

IBM Watson语音到文本发送麦克风数据关闭连接

1 个答案: