Question

我正在尝试将一堆包含音频和视频的视频剪辑合并到一个更长的视频文件中。
AVMutableComposition *mainComposition = [[AVMutableComposition alloc] init]; AVMutableCompositionTrack *compositionVideoTrack = [mainComposition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];

AVMutableCompositionTrack *soundtrackTrack = [mainComposition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
CMTime insertTime = kCMTimeZero;


NSArray *videoFileNames;
for (NSString  *videoPathString in videoFileNames) {

    AVAsset *videoAsset = [AVAsset assetWithURL:[NSURL fileURLWithPath:[NSString stringWithFormat:@"/Volumes/videoClips/CLIPS/%@",videoPathString]]];

                NSError *err1;
                NSError *err2;
                [compositionVideoTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAsset.duration) ofTrack:[[videoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0] atTime:insertTime error:&err1];

                [soundtrackTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAsset.duration) ofTrack:[[videoAsset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0] atTime:insertTime error:&err2];
                insertTime = CMTimeAdd(insertTime, videoAsset.duration);
}


NSURL *outptVideoUrl = [NSURL fileURLWithPath:@"/Volumes/mergedVideo/finalizedMoviev.mp4"];
AVAssetExportSession *exporter = [[AVAssetExportSession alloc] initWithAsset:mainComposition presetName:AVAssetExportPreset1280x720];

exporter.outputURL= outptVideoUrl;
exporter.outputFileType = AVFileTypeMPEG4;   
exporter.shouldOptimizeForNetworkUse = NO;
[exporter exportAsynchronouslyWithCompletionHandler:^{
    dispatch_async(dispatch_get_main_queue(), ^{
        NSLog(@"Completed video export");
    });
}];`

这有效，但是在第一个剪辑之后，音频和视频之间会出现不同步。 Video如果您观看第一个剪辑，音频将被完美同步，然后如果您向前跳至15分钟标记，则会发现视频和音频之间肯定会出现不同步。经过一番搜索，我能够发表这篇文章iOS AVFoundation audio/video out of sync

其中有一个链接，该链接解释了压缩时音频使空白样本进入队列的过程。在压缩音频文件的正面和背面。 Technical Note TN2258 AAC Audio - Encoder Delay and Synchronization

现在，我想我能解决这个问题的方法是设置一个AVAssetReader，同时将通过音频和视频帧的每个CMSamplebuffer读取的视频和音频输出解压缩，然后将其放入AVAssetWritter，并对每个剪辑重复此操作。但是我不确定的是如何始终保持音频和视频同步。我是只获取每个音频帧并按原样添加它还是在尝试修剪空白的填充和剩余数据包帧？

感谢您的帮助！

Answer 1

我的假设是正确的，即逐个查看每个帧并通过avassetwriter编写它们确实可以工作。但是，如果片段与音频采样率不同，则会遇到麻烦，这就是我正在处理的新问题。

尝试合并多个视频/音频片段时，AVASsetExportSession导致音频视频不同步

1 个答案: