Python OpenCV 2.4编写半完整的PNG视频帧

Question

我刚在Ubuntu 12.04上从源代码安装了OpenCV 2.4。我正在尝试使用Python脚本将视频的第一帧写入PNG图像，但我得到了一些奇怪的结果。这是代码：

import numpy as np
import cv
import cv2
import sys

video = cv.CaptureFromFile(sys.argv[1])
frame = cv.QueryFrame(video)
proxy = cv.CreateImage(cv.GetSize(frame), 8, 1)
cv.CvtColor(frame, proxy, cv.CV_BGR2GRAY)
a = np.asarray(cv.GetMat(proxy))
cv2.imwrite('image.png', a)

问题是，图像看起来像这样：

这些是AVI文件，否则似乎没问题。有什么想法吗？

编辑＃1：道歉，这是ffmpeg版本信息：

ffmpeg version 0.10.2-4:0.10.2-0ubuntu0jon1
built on Mar 18 2012 09:59:38 with gcc 4.6.3
configuration: --extra-version='4:0.10.2-0ubuntu0jon1' --arch=amd64 --prefix=/usr --libdir=/usr/lib/x86_64-linux-gnu --disable-stripping --enable-vdpau --enable-bzlib --enable-libgsm --enable-libschroedinger --enable-libspeex --enable-libtheora --enable-libvorbis --enable-pthreads --enable-zlib --enable-libvpx --enable-runtime-cpudetect --enable-libfreetype --enable-vaapi --enable-frei0r --enable-gpl --enable-postproc --enable-x11grab --enable-librtmp --enable-libvo-aacenc --enable-version3 --enable-libvo-amrwbenc --enable-version3 --enable-libdc1394 --shlibdir=/usr/lib/x86_64-linux-gnu --enable-shared --disable-static
libavutil      51. 35.100 / 51. 35.100
libavcodec     53. 61.100 / 53. 61.100
libavformat    53. 32.100 / 53. 32.100
libavdevice    53.  4.100 / 53.  4.100
libavfilter     2. 61.100 /  2. 61.100
libswscale      2.  1.100 /  2.  1.100
libswresample   0.  6.100 /  0.  6.100
libpostproc    52.  0.100 / 52.  0.100

编辑＃2：在我自己的故障排除中，我将ffmpeg从默认的12.04 ubuntu版本升级到您在上面的编辑＃1中看到的版本。这似乎改变了一点：在这个问题中生成框架的视频现在似乎工作正常，但更大的视频仍然存在损坏的下半部分（或底部三分之一，或四分之一）。甚至更大的视频实际上完全是段落错误。除了 - 再次 - 错误或缺少编解码器之外，我不确定该怎么做。它在QueryFrame步骤中进行了段错误。

编辑＃3：我更改了代码以独占使用cv2接口（根据下面其中一条评论中的链接）。现在，video.retrieve()始终返回False，并且不会写入任何图像。

编辑＃4：在使用新的cv2界面读取视频帧之前，我在视频上运行了以下命令：

ffmpeg -sameq -i normal.avi p_normal.avi

除了ffmpeg的初始化及其输入描述之后的这一行之外，命令的输出看起来没问题了：

  

不兼容的像素格式'pal8'用于编解码器'mpeg4'，自动选择   格式'yuv420p'

这是命令的完整输出：

Input #0, avi, from 'normal.avi':
  Duration: 00:01:37.60, start: 0.000000, bitrate: 1312 kb/s
    Stream #0:0: Video: rawvideo, pal8, 128x256, 5 tbr, 5 tbn, 5 tbc
Incompatible pixel format 'pal8' for codec 'mpeg4', auto-selecting format 'yuv420p'
[buffer @ 0x11a0f80] w:128 h:256 pixfmt:pal8 tb:1/1000000 sar:0/1 sws_param:
[buffersink @ 0x11a1380] auto-inserting filter 'auto-inserted scale 0' between the filter 'src' and the filter 'out'
[scale @ 0x1197da0] w:128 h:256 fmt:pal8 -> w:128 h:256 fmt:yuv420p flags:0x4
Output #0, avi, to 'p_normal.avi':
  Metadata:
    ISFT            : Lavf53.32.100
    Stream #0:0: Video: mpeg4 (FMP4 / 0x34504D46), yuv420p, 128x256, q=2-31, 200 kb/s, 5 tbn, 5 tbc
Stream mapping:
  Stream #0:0 -> #0:0 (rawvideo -> mpeg4)
Press [q] to stop, [?] for help
frame=  488 fps=  0 q=0.0 Lsize=    1497kB time=00:01:37.60 bitrate= 125.6kbits/s    
video:1480kB audio:0kB global headers:0kB muxing overhead 1.165352%

最重要的是，用于读取帧的Python OpenCV代码（使用cv2接口）仍然返回False（与之前相同的行为）。

编辑＃5：到目前为止，我已按照found here的说明从源代码安装ffmpeg及其依赖项，这很顺利。如果没有从源重新安装OpenCV，我仍然遇到与video.retrieve()返回False之前相同的问题。在尝试从源代码重新编译OpenCV 2.4时，我在编译期间收到以下错误：

Linking CXX shared library ../../lib/libopencv_highgui.so
/usr/bin/ld: /usr/local/lib/libavcodec.a(avpacket.o): relocation R_X86_64_32S against `av_destruct_packet' can not be used when making a shared object; recompile with -fPIC
/usr/local/lib/libavcodec.a: could not read symbols: Bad value

如果我使用--enable-pic标志重新编译x264，libvpx和ffmpeg，OpenCV编译仍然失败，这次使用（kdbwin.o，.rodata）代替（avpacket.o ，av_destruct_packet）分别在上面的代码段中。

编辑＃6：通过将--enable-shared添加到libvpx和ffmpeg的配置选项来修复上述错误。 OpenCV重新编译并成功构建，ffmpeg工作得很好。遗憾的是，在运行上一个命令（ffmpeg -sameq -i normal.avi p_normal.avi）之后，我的脚本仍然无法检索任何帧;返回的标志仍然是假的。还有什么想法吗？

编辑＃7：这是我正在使用的最新脚本。

import numpy as np
import cv2
import sys

video = cv2.VideoCapture(sys.argv[1])
flag, frame = video.retrieve()
if not flag:
  print 'Error'
  quit()
proxy = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
cv2.imwrite('image.png', proxy)

编辑＃8：搞定了！这是代码应该是什么：

import numpy as np
import cv2
import sys

video = cv2.VideoCapture(sys.argv[1])
if video.grab():
  flag, frame = video.retrieve()
  if not flag:
    print 'Error'
    quit()
  proxy = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
  cv2.imwrite('image.png', proxy)

Answer 1

问题很可能是ffmpeg和使用过的视频编解码器。你能分享一下这些视频吗？然后我们可以检查编解码器，看看有什么问题。我们也不知道你的系统上有什么ffmpeg版本。

请注意，为什么要混用cv和cv2接口？只使用cv2接口，代码看起来会更好。

编辑：我忘了提及，我测试了代码，所以问题肯定不在代码中。

编辑2：问题可能是ffmpeg无法处理您的视频。如果不对相关视频进行测试，就很难说。您可以尝试使用cv2接口，cv2.VideoCapture是您应该用来从视频文件中抓取帧的。

编辑3：我看了一下视频，看来OpenCV使用ffmpeg的方式与你的视频有问题。一个快速的解决方法是在OpenCV打开之前使用ffmpeg处理您的视频。 ffmpeg -sameq -i normal.avi p_norma.avi为您提供了一个视频p_norma.avi，您可以通过OpenCV轻松处理该视频。对于normal.avi：

Selected video codec: [rawbgr8flip] vfm: raw (RAW BGR8)

以及生成的视频p_norma.avi：

Selected video codec: [ffodivx] vfm: ffmpeg (FFmpeg MPEG-4)

因此，生成的视频大约小10倍。这对你来说是一个可能的解决方案吗？