Question

我非常感谢以下问题的一些帮助：

我有一个带摄像头的小工具，生成H264压缩视频帧，这些帧正在发送到我的应用程序。这些框架不在容器中，只是原始数据。

我想使用ffmpeg和libav函数创建一个视频文件，以后可以使用。

如果我解码帧，然后对它们进行编码，一切正常，我得到一个有效的视频文件。（解码/编码步骤是通常的libav命令，这里没什么花哨的，我把它们从万能的互联网上取下来，它们坚如磐石）......但是，我通过解码和编码浪费了大量时间，所以我想跳过此步骤并直接将帧放在输出流中。现在，问题来了。

以下是我提出的用于生成编码的代码：

AVFrame* picture;

avpicture_fill((AVPicture*) picture, (uint8_t*)frameData, 
                 codecContext->pix_fmt, codecContext->width,
                 codecContext->height);
int outSize = avcodec_encode_video(codecContext, videoOutBuf, 
                 sizeof(videoOutBuf), picture);
if (outSize > 0) 
{
    AVPacket packet;
    av_init_packet(&packet);
    packet.pts = av_rescale_q(codecContext->coded_frame->pts,
                  codecContext->time_base, videoStream->time_base);
    if (codecContext->coded_frame->key_frame) 
    {
        packet.flags |= PKT_FLAG_KEY;
    }
    packet.stream_index = videoStream->index;
    packet.data =  videoOutBuf;
    packet.size =  outSize;

    av_interleaved_write_frame(context, &packet);
    put_flush_packet(context->pb);
}

变量如下：

frameData是来自摄像机的解码帧数据，它是在上一步中解码的，videoOutBuf是用于保存数据的普通uint8_t缓冲区

我修改了应用程序以便不对帧进行解码，而只是简单地传递数据：

    AVPacket packet;
    av_init_packet(&packet);

    packet.stream_index = videoStream->index;
    packet.data = (uint8_t*)frameData;
    packet.size = currentFrameSize;

    av_interleaved_write_frame(context, &packet);
    put_flush_packet(context->pb);

其中

frameData是原始的H264帧并且currentFrameSize是原始H264帧的大小，即。我从每个框架的小工具中获得的字节数。

突然之间，应用程序无法正常工作，生成的视频无法播放。这很明显，因为我没有为数据包设置正确的PTS。我做的是以下（我很绝望，你可以从这种方法看到:)）

    packet.pts = timestamps[timestamp_counter ++];

其中timestamps实际上是由上面的工作代码生成的PTS列表，并写入文件（是的，你正确读取它，我记录了所有PTS的10分钟会话，并且想要使用它们）。

该应用程序仍无效。

现在，在这里，我不知道该怎么做，所以这里有一个问题：

我想使用libav函数创建一个“mpegts”视频流，在已编码的视频帧中插入流并使用它创建一个视频文件。我该怎么做？

谢谢， F。

Answer 1

我相信如果您设置以下内容，您将看到视频播放。

packet.flags |= AV_PKT_FLAG_KEY;
packet.pts = packet.dts = 0;

您应该根据h264数据包标头设置packet.flags。您可以尝试this fellow stack overflowian's建议直接从流中提取。

如果你还要添加音频，那么pts / dts会更重要。我建议你学习this tutorial

修改

我有时间从我的测试应用中提取出适合我的内容。由于某种原因，dts / pts值为零适用于我，但0或AV_NOPTS_VALUE以外的值不适用。我想知道我们是否有不同版本的ffmpeg。我收到了来自 git：//git.videolan.org/ffmpeg.git 的最新消息。

<强> fftest.cpp

#include <string> #ifndef INT64_C #define INT64_C(c) (c ## LL) #define UINT64_C(c) (c ## ULL) #endif //#define _M #define _M printf( "%s(%d) : MARKER\n", __FILE__, __LINE__ ) extern "C" { #include "libavcodec/avcodec.h" #include "libavformat/avformat.h" }; AVFormatContext *fc = 0; int vi = -1, waitkey = 1; // < 0 = error // 0 = I-Frame // 1 = P-Frame // 2 = B-Frame // 3 = S-Frame int getVopType( const void *p, int len ) { if ( !p || 6 >= len ) return -1; unsigned char *b = (unsigned char*)p; // Verify NAL marker if ( b[ 0 ] || b[ 1 ] || 0x01 != b[ 2 ] ) { b++; if ( b[ 0 ] || b[ 1 ] || 0x01 != b[ 2 ] ) return -1; } // end if b += 3; // Verify VOP id if ( 0xb6 == *b ) { b++; return ( *b & 0xc0 ) >> 6; } // end if switch( *b ) { case 0x65 : return 0; case 0x61 : return 1; case 0x01 : return 2; } // end switch return -1; } void write_frame( const void* p, int len ) { if ( 0 > vi ) return; AVStream *pst = fc->streams[ vi ]; // Init packet AVPacket pkt; av_init_packet( &pkt ); pkt.flags |= ( 0 >= getVopType( p, len ) ) ? AV_PKT_FLAG_KEY : 0; pkt.stream_index = pst->index; pkt.data = (uint8_t*)p; pkt.size = len; // Wait for key frame if ( waitkey ) if ( 0 == ( pkt.flags & AV_PKT_FLAG_KEY ) ) return; else waitkey = 0; pkt.dts = AV_NOPTS_VALUE; pkt.pts = AV_NOPTS_VALUE; // av_write_frame( fc, &pkt ); av_interleaved_write_frame( fc, &pkt ); } void destroy() { waitkey = 1; vi = -1; if ( !fc ) return; _M; av_write_trailer( fc ); if ( fc->oformat && !( fc->oformat->flags & AVFMT_NOFILE ) && fc->pb ) avio_close( fc->pb ); // Free the stream _M; av_free( fc ); fc = 0; _M; } int get_nal_type( void *p, int len ) { if ( !p || 5 >= len ) return -1; unsigned char *b = (unsigned char*)p; // Verify NAL marker if ( b[ 0 ] || b[ 1 ] || 0x01 != b[ 2 ] ) { b++; if ( b[ 0 ] || b[ 1 ] || 0x01 != b[ 2 ] ) return -1; } // end if b += 3; return *b; } int create( void *p, int len ) { if ( 0x67 != get_nal_type( p, len ) ) return -1; destroy(); const char *file = "test.avi"; CodecID codec_id = CODEC_ID_H264; // CodecID codec_id = CODEC_ID_MPEG4; int br = 1000000; int w = 480; int h = 354; int fps = 15; // Create container _M; AVOutputFormat *of = av_guess_format( 0, file, 0 ); fc = avformat_alloc_context(); fc->oformat = of; strcpy( fc->filename, file ); // Add video stream _M; AVStream *pst = av_new_stream( fc, 0 ); vi = pst->index; AVCodecContext *pcc = pst->codec; _M; avcodec_get_context_defaults2( pcc, AVMEDIA_TYPE_VIDEO ); pcc->codec_type = AVMEDIA_TYPE_VIDEO; pcc->codec_id = codec_id; pcc->bit_rate = br; pcc->width = w; pcc->height = h; pcc->time_base.num = 1; pcc->time_base.den = fps; // Init container _M; av_set_parameters( fc, 0 ); if ( !( fc->oformat->flags & AVFMT_NOFILE ) ) avio_open( &fc->pb, fc->filename, URL_WRONLY ); _M; av_write_header( fc ); _M; return 1; } int main( int argc, char** argv ) { int f = 0, sz = 0; char fname[ 256 ] = { 0 }; char buf[ 128 * 1024 ]; av_log_set_level( AV_LOG_ERROR ); av_register_all(); do { // Raw frames in v0.raw, v1.raw, v2.raw, ... // sprintf( fname, "rawvideo/v%lu.raw", f++ ); sprintf( fname, "frames/frame%lu.bin", f++ ); printf( "%s\n", fname ); FILE *fd = fopen( fname, "rb" ); if ( !fd ) sz = 0; else { sz = fread( buf, 1, sizeof( buf ) - FF_INPUT_BUFFER_PADDING_SIZE, fd ); if ( 0 < sz ) { memset( &buf[ sz ], 0, FF_INPUT_BUFFER_PADDING_SIZE ); if ( !fc ) create( buf, sz ); if ( fc ) write_frame( buf, sz ); } // end if fclose( fd ); } // end else } while ( 0 < sz ); destroy(); }

Answer 2

您可以创建一个从控制台调用ffmpeg的进程。

处理000001.jpg，000002.jpg，000003.jpg等文件的命令行示例...

ffmpeg -i c：\ frames \％06d.jpg -r 16 -vcodec mpeg4 -an -y c：\ video \ some_video.avi

Other examples from ffmpeg docs

使用libavcodec在mpegts容器中生成H264帧

2 个答案: