Question

产品：Bebop 产品版本：软件版本v2.0.29 SDK版本：ARSDK3_version_3_14_0 使用libARController：是 SDK平台：UNIX 可通过官方应用程序复制：否

我一直在尝试使用Ubuntu 18.04将ARCONTROLLER_Frame_t从ARSDK 3转换为OpenCV映像，最初，提供的示例程序利用MPlayer打开了FIFO，在该程序中，它写入了从无人机接收到的所有帧，我设法在运行时使用ffmpeg从上述流中获取图像。我还尝试将OpenCV所说的文件用作VideoCapture的源，该文件虽然有效，但被严重延迟了。我目前正在尝试逐帧提供OpenCV。

This is a screenshot关于ARCONTROLLER_Frame_t的定义，文档对所有工作原理都含糊不清。

我目前得到以下图像： Screen shot of the image obtained

我以前用它来尝试对其进行解码，假设它是RGB格式，那么此图像会对与相机的交互做出反应，所以我认为它是正确的数据：

void rawToMat(Mat &destImage, ARCONTROLLER_Frame_t &sourceImage) {
  if (sourceImage.used == 0) {
    return;
  }
  uchar *pointerImage = destImage.ptr(0);

  for (int i = 0; i < 480 * 856; i++) {
    pointerImage[3 * i] = sourceImage.data[3 * i + 2];
    pointerImage[3 * i + 1] = sourceImage.data[3 * i + 1];
    pointerImage[3 * i + 2] = sourceImage.data[3 * i];
  }
}

但是我发现这提供了相同的输出：

ARCONTROLLER_Frame_t newFrame = getCurrentFrame();
Mat currentImage = Mat(480, 856, CV_8UC3, newFrame.data);

有人知道从中获取真实图像的方法吗？

Answer 1

ARCONTROLLER_Frame_t不包含RGB图像；它包含一个H.264帧，必须使用H.264解码器将其转换为RGB图像（例如，请参阅Parrot开发者论坛上的this response）。

这个来自Parrot的旧示例代码演示了如何使用ffmpeg / libav库对帧进行解码（在此处发布的时间太长了）：https://github.com/Parrot-Developers/Samples/tree/59b6ba5cdc268fb6932d228db7b9169d9b69384c/Unix/BebopDroneDecodeStream

将帧从h264流解码到OpenCV Mat

1 个答案: