我有一个相当视觉上很复杂的应用程序,它有一个基本的UIViewController和几个UIViews(我的子类和扩展)。我会定期抛出UIAlertViews和UIPopOverControllers。
我正在努力建立一个视频录制解决方案,以便当用户通过该应用程序工作时,它会记录下一次汇报的内容。
我有一个部分工作的解决方案,但它非常慢(实际上不能超过每秒约1帧),有一些扭结(图像当前旋转和倾斜,但我想我可以解决这个问题)并不是我想要的理想解决方案。
我跳过了那条思路,开始实现一个使用UIGetImageFromCurrentImageContext()的解决方案,但是这仍然给我nil
个图片,即使是从drawRect:
内调用的。{/ p>
但是,对我来说,我不想连续打电话drawRect:
只是为了获得一个屏幕截图!我不想实际发起任何额外的绘图,只是捕捉屏幕上的内容。
我很高兴发布我正在使用的代码,但它还没有真正起作用。有没有人知道做我正在寻找的好方法?
我找到的一个解决方案并不能完全适用于我,因为它似乎无法捕获UIAlertViews和其他重叠视图。
任何帮助?
谢谢!
凸块
答案 0 :(得分:2)
我无法进行全尺寸实时视频编码。但是,作为替代方案,请考虑这一点。
而不是记录帧,记录动作(及其时间戳)。然后,当您想要播放时,只需重播动作即可。你已经有了代码,因为你在“现实生活中”执行它。
您所做的只是及时重播相同的动作。
修改强>
如果你想尝试录音,这就是我所做的(注意,我放弃了它......这是一个正在进行中的实验,所以请把它作为我接近它的一个例子......没有什么是生产 - 准备)。我能够以640x360录制现场音频/视频,但这个分辨率对我来说太低了。它在iPad上看起来很好,但是当我将视频移动到我的Mac并在那里观看时很糟糕。
我遇到了更高分辨率的问题。我从RosyWriter示例项目中调整了大部分代码。以下是设置资产编写器,开始录制以及向视频流添加UIImage的主要例程。
祝你好运。CGSize const VIDEO_SIZE = { 640, 360 };
- (void) startRecording
{
dispatch_async(movieWritingQueue, ^{
NSLog(@"startRecording called in state 0x%04x", state);
if (state != STATE_IDLE) return;
state = STATE_STARTING_RECORDING;
NSLog(@"startRecording changed state to 0x%04x", state);
NSError *error;
//assetWriter = [[AVAssetWriter alloc] initWithURL:movieURL fileType:AVFileTypeQuickTimeMovie error:&error];
assetWriter = [[AVAssetWriter alloc] initWithURL:movieURL fileType:AVFileTypeMPEG4 error:&error];
if (error) {
[self showError:error];
}
[self removeFile:movieURL];
[self resumeCaptureSession];
[self.delegate recordingWillStart];
});
}
// TODO: this is where we write an image into the movie stream...
- (void) writeImage:(UIImage*)inImage
{
static CFTimeInterval const minInterval = 1.0 / 10.0;
static CFAbsoluteTime lastFrameWrittenWallClockTime;
CFAbsoluteTime thisFrameWallClockTime = CFAbsoluteTimeGetCurrent();
CFTimeInterval timeBetweenFrames = thisFrameWallClockTime - lastFrameWrittenWallClockTime;
if (timeBetweenFrames < minInterval) return;
// Not really accurate, but we just want to limit the rate we try to write frames...
lastFrameWrittenWallClockTime = thisFrameWallClockTime;
dispatch_async(movieWritingQueue, ^{
if ( !assetWriter ) return;
if ((state & STATE_STARTING_RECORDING) && !(state & STATE_MASK_VIDEO_READY)) {
if ([self setupAssetWriterImageInput:inImage]) {
[self videoIsReady];
}
}
if (state != STATE_RECORDING) return;
if (assetWriter.status != AVAssetWriterStatusWriting) return;
CGImageRef cgImage = CGImageCreateCopy([inImage CGImage]);
if (assetWriterVideoIn.readyForMoreMediaData) {
CVPixelBufferRef pixelBuffer = NULL;
// Resize the original image...
if (!CGSizeEqualToSize(inImage.size, VIDEO_SIZE)) {
// Build a context that's the same dimensions as the new size
CGRect newRect = CGRectIntegral(CGRectMake(0, 0, VIDEO_SIZE.width, VIDEO_SIZE.height));
CGContextRef bitmap = CGBitmapContextCreate(NULL,
newRect.size.width,
newRect.size.height,
CGImageGetBitsPerComponent(cgImage),
0,
CGImageGetColorSpace(cgImage),
CGImageGetBitmapInfo(cgImage));
// Rotate and/or flip the image if required by its orientation
//CGContextConcatCTM(bitmap, transform);
// Set the quality level to use when rescaling
CGContextSetInterpolationQuality(bitmap, kCGInterpolationHigh);
// Draw into the context; this scales the image
//CGContextDrawImage(bitmap, transpose ? transposedRect : newRect, imageRef);
CGContextDrawImage(bitmap, newRect, cgImage);
// Get the resized image from the context and a UIImage
CGImageRef newImageRef = CGBitmapContextCreateImage(bitmap);
CGContextRelease(bitmap);
CGImageRelease(cgImage);
cgImage = newImageRef;
}
CFDataRef image = CGDataProviderCopyData(CGImageGetDataProvider(cgImage));
int status = CVPixelBufferPoolCreatePixelBuffer(kCFAllocatorDefault, self.assetWriterPixelBufferAdaptor.pixelBufferPool, &pixelBuffer);
if(status != 0){
//could not get a buffer from the pool
NSLog(@"Error creating pixel buffer: status=%d", status);
}
// set image data into pixel buffer
CVPixelBufferLockBaseAddress( pixelBuffer, 0 );
uint8_t* destPixels = CVPixelBufferGetBaseAddress(pixelBuffer);
// Danger, Will Robinson!!!!! USE_BLOCK_IN_FRAME warning...
CFDataGetBytes(image, CFRangeMake(0, CFDataGetLength(image)), destPixels);
if(status == 0){
//CFAbsoluteTime thisFrameWallClockTime = CFAbsoluteTimeGetCurrent();
CFTimeInterval elapsedTime = thisFrameWallClockTime - firstFrameWallClockTime;
CMTime presentationTime = CMTimeAdd(firstBufferTimeStamp, CMTimeMake(elapsedTime * TIME_SCALE, TIME_SCALE));
BOOL success = [self.assetWriterPixelBufferAdaptor appendPixelBuffer:pixelBuffer withPresentationTime:presentationTime];
if (!success)
NSLog(@"Warning: Unable to write buffer to video");
}
//clean up
CVPixelBufferUnlockBaseAddress( pixelBuffer, 0 );
CVPixelBufferRelease( pixelBuffer );
CFRelease(image);
CGImageRelease(cgImage);
} else {
NSLog(@"Not ready for video data");
}
});
}
-(BOOL) setupAssetWriterImageInput:(UIImage*)image
{
NSDictionary* videoCompressionProps = [NSDictionary dictionaryWithObjectsAndKeys:
[NSNumber numberWithDouble:1024.0*1024.0], AVVideoAverageBitRateKey,
nil ];
NSDictionary* videoSettings = [NSDictionary dictionaryWithObjectsAndKeys:
AVVideoCodecH264, AVVideoCodecKey,
//[NSNumber numberWithInt:image.size.width], AVVideoWidthKey,
//[NSNumber numberWithInt:image.size.height], AVVideoHeightKey,
[NSNumber numberWithInt:VIDEO_SIZE.width], AVVideoWidthKey,
[NSNumber numberWithInt:VIDEO_SIZE.height], AVVideoHeightKey,
videoCompressionProps, AVVideoCompressionPropertiesKey,
nil];
NSLog(@"videoSettings: %@", videoSettings);
assetWriterVideoIn = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo outputSettings:videoSettings];
NSParameterAssert(assetWriterVideoIn);
assetWriterVideoIn.expectsMediaDataInRealTime = YES;
NSDictionary* bufferAttributes = [NSDictionary dictionaryWithObjectsAndKeys:
[NSNumber numberWithInt:kCVPixelFormatType_32ARGB], kCVPixelBufferPixelFormatTypeKey, nil];
self.assetWriterPixelBufferAdaptor = [AVAssetWriterInputPixelBufferAdaptor assetWriterInputPixelBufferAdaptorWithAssetWriterInput:assetWriterVideoIn sourcePixelBufferAttributes:bufferAttributes];
//add input
if ([assetWriter canAddInput:assetWriterVideoIn]) {
[assetWriter addInput:assetWriterVideoIn];
}
else {
NSLog(@"Couldn't add asset writer video input.");
return NO;
}
return YES;
}
答案 1 :(得分:1)
也许你可以使用UIGetScreenImage
和AVAssetWriter
来保存h264 mp4文件,从而获得更好的表现。
将AVAssetWriterInput
添加到资产编写者并致电:
- (BOOL)appendSampleBuffer:(CMSampleBufferRef)sampleBuffer
定期(可能您可以在主线程上安排计时器),并通过调用UIGetScreenImage()
从收集的UIImage创建一个样本缓冲区。
AVAssetWriterInputPixelBufferAdaptor
对此方法也有用:
- (BOOL)appendPixelBuffer:(CVPixelBufferRef)pixelBuffer withPresentationTime:(CMTime)presentationTime
您可以查看this question将CGImageRef
转换为CVPixelBufferRef
。
关于UIGetScreenImage
的说明,它是一个私有API,但已被Apple允许:https://devforums.apple.com/message/149553#149553
答案 2 :(得分:1)
我认为你应该采取严肃的退步,并考虑你想要达到的最终效果是什么。我不认为继续沿着这条道路前进将会带领你取得非常大的成功。如果您的最终目标只是您的用户所采取的操作的分析信息,那么您可以使用相当多的iOS风格的分析工具。您应该捕获比简单的屏幕抓取更有用的信息。不幸的是,因为您的问题非常关注您发现的帧率问题,我无法确定您的最终目标。
我不建议使用私有API并尝试实时记录屏幕数据。这只是处理过多的信息。这是来自一位将iOS设备推向极限的游戏开发老手。也就是说,如果你确实提出了一个可行的解决方案(可能是涉及CoreGraphics和高压缩图像的非常低级别的东西),我很乐意听到它。
答案 3 :(得分:1)
如果您的目标是iPhone 4S或iPad 2(或更新版本),那么AirPlay镜像可能会满足您的需求。有一个名为Reflection的Mac应用程序将接收AirPlay内容,甚至可以直接录制.mov。这可能不适用于支持不同的用户或位置,但它对我有帮助。