Question

我已成功使用ffmpeg实现了一个视频播放器。我现在正在尝试使用硬件解码，但我面临一些问题。我发现了一篇帖子，我将其作为起点：https://ffmpeg.org/pipermail/libav-user/2014-August/007323.html

我已经更新了为解码器设置必要内容的代码。更新后的代码可在此处获取：https://drive.google.com/file/d/0B5ufHdoDzA4ieVk5UVpxcDNzRHc/view?usp=sharing

这就是我用它来初始化解码器的方法：

// Prepare the decoding context
AVCodec *codec = nullptr;
_codecContext = _avFormatContext->streams[_streamIndex]->codec;
if ((codec = avcodec_find_decoder(_codecContext->codec_id)) == 0)
{
    std::cout << "Unsupported video codec!" << std::endl;
    return false;
}

_codecContext->thread_count = 1;  // Multithreading is apparently not compatible with hardware decoding
InputStream *ist = new InputStream();
ist->hwaccel_id = HWACCEL_AUTO;
ist->hwaccel_device = "dxva2";
ist->dec = codec;
ist->dec_ctx = _codecContext;
_codecContext->coded_width = _width;
_codecContext->coded_height = _height;

_codecContext->opaque = ist;
dxva2_init(_codecContext);

_codecContext->get_buffer2 = ist->hwaccel_get_buffer;
_codecContext->get_format = GetHwFormat;
_codecContext->thread_safe_callbacks = 1;

if (avcodec_open2(_codecContext, codec, nullptr) < 0)
{
    std::cout << "Video codec open error" << std::endl;
    return false;
}

以下是上面引用的GetHwFormat的定义：

AVPixelFormat GetHwFormat(AVCodecContext *s, const AVPixelFormat *pix_fmts)
{
    InputStream* ist = (InputStream*)s->opaque;
    ist->active_hwaccel_id = HWACCEL_DXVA2;
    ist->hwaccel_pix_fmt = AV_PIX_FMT_DXVA2_VLD;
    return ist->hwaccel_pix_fmt;
}

当我打开高清分辨率或更低分辨率的mp4（h264编码）视频时，一切似乎都运行正常。但是，只要我尝试像3840x2160这样的更高分辨率的视频，我就会反复出现以下错误：

Failed to execute: 0x80070057
Hardware accelerator failed to decode picture

几秒钟后我也开始收到以下错误：

co located POCs unavailable

视频显示不正确：我在整个视频中收到了很多文物，而且还很滞后。我检查了ffmpeg源代码中的第一个错误。由于参数无效，似乎IDirectXVideoDecoder_Execute失败。由于ffmpeg正在发生这种情况，所以我必须找到一些我不知道的东西，但我无法弄清楚是什么。我发现此错误的唯一相关帖子是因为多线程，但我在打开编解码器之前将thread_count设置为1.

这个问题发生在我的主计算机上，它有以下规格：

i7-4790 CPU @ 3.6GHz
RAM 16 GB
Intel HD Graphics 4600
Windows 8.1

同样的问题在我的第二台计算机上没有发生，它有以下规格：

i7 4510U @ 2GHz
RAM 8 GB
NVIDIA GeForce GTX 750Ti
Windows 10

如果我在主计算机上使用DXVAChecker，它表示我的显卡支持H2VA2用于H264_VLD_ *，我可以看到正在调用Microsoft API（DXVA2_DecodeDeviceCreated，DXVA2_DecodeDeviceBeginFrame，DXVA2_DecodeDeviceGetBuffer，DXVA2_DecodeDeviceExecute，DXVA2_DecodeDeviceEndFrame），同时我的视频正在播放。

我也看不到具有硬件解码的版本和没有版本的版本之间GPU使用率（在任何一台计算机上）的增加;但是，我确实看到了CPU使用量的减少（尽管没有我预期的那么多）。这也很奇怪。

请注意，我尝试了FFmpeg网站上提供的Windows版本以及我使用--enable-dxva2编译的版本。我已经搜索了很多，但我无法找到我做错的事。

希望有人可以帮助我，或者指点一个更好的例子？

Answer 1

我终于找到了我的问题。在调用avcodec_decode_video2之后，我没有像这样更新数据包的大小和数据指针：

int r = avcodec_decode_video2(_codecContext, frame, &frameDecoded, &pkt);
pkt.size -= r;
pkt.data += r;

现在，视频已正确解码，我不再有任何文物。

另外，关于延迟，我认为这是一个单独的问题，与错误消息无关，并且由于将图像复制回CPU内存所花费的时间。如果您需要这样做，而不是像我在上面的问题中发布的代码中那样使用av_image_copy_plane，您可能想要查看VLC的作用，或者在此链接https://software.intel.com/en-us/articles/copying-accelerated-video-decode-frame-buffers。我在我的机器上进行了快速测试，它将时间缩短了7或8倍。

无法执行：0x80070057，使用dxva2

1 个答案: