Question

我正在使用nghttp2库格式化多部分帧以与Alexa通信。我目前能够通过多部分消息获得音频响应。但是，目前只能发送高达16KB的数据，我想对我的录制数据进行流式传输，整个数据可能超过16KB。

任何人都可以帮助我使用nghttp2将块中的音频数据发送到AVS吗？

期待回复，请帮助。

感谢。

另外，我正在从代码中添加引用函数。请忽略名称约定和其他逻辑，因为我只是尝试这种粗略的发送超过16KB大小的数据。

    //Callback function for the data to be send to the server
ssize_t data_prd_read_callback_1(nghttp2_session *session, int32_t stream_id, uint8_t *buf, size_t length,uint32_t *data_flags, nghttp2_data_source *source, void *user_data)
{
    //uint8_t send_data[8000]; 
    char send_data[] = "\r\n\r\n--_____FINISH_HERE__________\r\nContent-Disposition: form-data; name=\"metadata\"\r\nContent-Type: application/json; charset=UTF-8\r\n\r\n{\"context\":[{\"header\": {\"namespace\": \"SpeechSynthesizer\",\"name\": \"SpeechState\"},\"payload\": {\"token\":\"\",\"offsetInMilliseconds\":0,\"playerActivity\":\"IDLE\"}}],\"event\":{\"header\":{\"namespace\":\"SpeechRecognizer\",\"name\":\"Recognize\",\"messageId\":\"MID-123456\",\"dialogRequestId\":\"DRID-123456\"},\"payload\":{\"profile\":\"CLOSE_TALK\",\"format\":\"AUDIO_L16_RATE_16000_CHANNELS_1\"}}}\r\n\r\n--_____FINISH_HERE__________\r\nContent-Disposition: form-data; name=\"audio\"\r\nContent-Type: application/octet-stream\r\n\r\n";

    int fd = source->fd;
    uint8_t *audio_data;
    uint8_t *final_data_end, *temp_data;
    audio_data = malloc(AUDIO_FILE_SIZE);
    memset(audio_data, 0, AUDIO_FILE_SIZE);
    final_data_end = malloc(MAX_SIZE_TO_SEND);
    temp_data = final_data_end;
    memset(final_data_end, 0, MAX_SIZE_TO_SEND);
    int r;
    r = read(fd, audio_data, AUDIO_FILE_SIZE);
    if ( r == -1)
    {
        printf("JOSHI error while reading audio file\n");
    }
    int len, i;
    len = strlen(send_data);
    memcpy(final_data_end, send_data, strlen(send_data));
    final_data_end += strlen(send_data);
    memcpy(final_data_end, audio_data, AUDIO_FILE_SIZE);
    final_data_end += AUDIO_FILE_SIZE;
    memcpy(final_data_end, "\r\n--_____FINISH_HERE__________--", 32);
    memcpy(buf, temp_data, (strlen(send_data) + AUDIO_FILE_SIZE + 32));
    return (strlen(send_data) + AUDIO_FILE_SIZE + 32);
}


static int send_request(struct connection *conn, struct request *req) {
    nghttp2_nv nva[] = { 
                MAKE_NV_LL(":method", "POST"),
                MAKE_NV_L(":scheme", "https"),
                MAKE_NV_LL(":path", "/v20160207/events" ),
        MAKE_NV_LL("authorization", "Bearer "ACCESS_TOKEN""),
        MAKE_NV_LL("content-type", "multipart/form-data; boundary=_____FINISH_HERE__________")};
    int rv;

    nghttp2_data_provider data_prd;
    int file_descriptor;
    file_descriptor = open ("./audio.raw", O_RDONLY);
    if (file_descriptor == -1)
    {
        printf("error while reading the audio file\n");
    }
    data_prd.source.fd = file_descriptor;   // set the file descriptor 
    data_prd.read_callback = data_prd_read_callback_1;

    rv = nghttp2_submit_request(conn->ngh2, NULL, nva, ARRLEN(nva), &data_prd, req);
    temp_stream_id = rv;
    if (rv < 0) {
        fprintf(stderr, "In second error: (nghttp2_submit_requset) %s\n",nghttp2_strerror(rv));
        return -1; 
    }   
    return 0;
}

我正在使用＆＃34; nghttp2_session_send＆＃34;用send_callback函数发送。每当我尝试超过16KB大小的文件时，AVS将回复ERROR＆＃34;没有状态为400＆＃34;的多部分数据。如果整个数据小于16KB，则alexa将回复附加的音频数据。

Answer 1

您需要对尚未完成编写的nghttp表示怀疑。如tutorial中所述：

static ssize_t file_read_callback(nghttp2_session *session _U_,
                                  int32_t stream_id _U_, uint8_t *buf,
                                  size_t length, uint32_t *data_flags,
                                  nghttp2_data_source *source,
                                  void *user_data _U_) {
  int fd = source->fd;
  ssize_t r;
  while ((r = read(fd, buf, length)) == -1 && errno == EINTR)
    ;
  if (r == -1) {
    return NGHTTP2_ERR_TEMPORAL_CALLBACK_FAILURE;
  }
  if (r == 0) {
    *data_flags |= NGHTTP2_DATA_FLAG_EOF;
  }
  return r;
}

您可以看到，当没有更多数据要读取时，它们会将* data_flags设置为NGHTTP2_DATA_FLAG_EOF。因此，如果您有几个MB文件，并且只有16k缓冲区，则必须保持一定的偏移量，并且在data_prd_read_callback_1的每次调用中最多写入16k，然后在最后一次迭代中写入其余部分（例如10k或剩余的任何值）。我用这种方式：

ssize_t Message::Http2DataLoader( nghttp2_session *sess, int32_t sId, uint8_t *buf, size_t bufLen, uint32_t *dataFlags, nghttp2_data_source *src, void *hint )
{
   ssize_t ret = 0;
   Message* theRes = reinterpret_cast< Message* >( src->ptr );

   if ( bufLen <= theRes->getDataLen() - theRes->getWritten() )
   {
      std::memcpy( buf, theRes->getData() + theRes->getWritten(), bufLen );
      ret = bufLen;
   }
   else
   {
      std::memcpy( buf, theRes->getData() + theRes->getWritten(), theRes->getDataLen() - theRes->getWritten() );
      ret = theRes->getDataLen() - theRes->getWritten();
   }

   theRes->addWritten( ret );

   if( theRes->AllDataConsumed() )
   {
      *dataFlags |= NGHTTP2_DATA_FLAG_EOF;
   }

   return ret;
}

Message类是一个可以包含主体数据或多部分的容器，添加后的所有多部分都将其数据写入内部消息缓冲区，然后在dataloader回调中，我仅以16k块的形式编写它（最好在 bufLen 块）。我使用 addWritten 和 getWritten 方法跟踪缓冲区中的位置。比赛由 AllDataConsumed 处理。如果要从文件读取音频多声部，则需要类似教程中的file_read_callback的内容。如果您将其封装到某些 Message 类中，则可以添加一些json多部分和音频多部分，并修改dataLoader回调以首先写入json部分，然后开始读取音频文件并添加写入，这将是很好的以 16k（ bufLen ）块的形式 buf 。

nghttp2_session_send 将调用您的 data_prd_read_callback_1 ，直到您写入所有数据或发生某些错误为止。这意味着您可以根据需要处理对缓冲区的JSON写操作和对缓冲区的音频文件写操作。如果一切顺利，它将只是调用您的回调，直到将 * data_flags设置为NGHTTP2_DATA_FLAG_EOF 。

希望这对您有所帮助。

如何使用nghttp2发送多块数据？

1 个答案: