iOS截图/应用程序录制技术

时间:2012-03-22 13:27:56

标签: ios screenshot capture

我有一个相当视觉上很复杂的应用程序,它有一个基本的UIViewController和几个UIViews(我的子类和扩展)。我会定期抛出UIAlertViews和UIPopOverControllers。

我正在努力建立一个视频录制解决方案,以便当用户通过该应用程序工作时,它会记录下一次汇报的内容。

我有一个部分工作的解决方案,但它非常慢(实际上不能超过每秒约1帧),有一些扭结(图像当前旋转和倾斜,但我想我可以解决这个问题)并不是我想要的理想解决方案。

我跳过了那条思路,开始实现一个使用UIGetImageFromCurrentImageContext()的解决方案,但是这仍然给我nil个图片,即使是从drawRect:内调用的。{/ p>

但是,对我来说,我不想连续打电话drawRect:只是为了获得一个屏幕截图!我不想实际发起任何额外的绘图,只是捕捉屏幕上的内容。

我很高兴发布我正在使用的代码,但它还没有真正起作用。有没有人知道做我正在寻找的好方法?

我找到的一个解决方案并不能完全适用于我,因为它似乎无法捕获UIAlertViews和其他重叠视图。

任何帮助?

谢谢!

凸块

4 个答案:

答案 0 :(得分:2)

我无法进行全尺寸实时视频编码。但是,作为替代方案,请考虑这一点。

而不是记录帧,记录动作(及其时间戳)。然后,当您想要播放时,只需重播动作即可。你已经有了代码,因为你在“现实生活中”执行它。

您所做的只是及时重播相同的动作。

修改

如果你想尝试录音,这就是我所做的(注意,我放弃了它......这是一个正在进行中的实验,所以请把它作为我接近它的一个例子......没有什么是生产 - 准备)。我能够以640x360录制现场音频/视频,但这个分辨率对我来说太低了。它在iPad上看起来很好,但是当我将视频移动到我的Mac并在那里观看时很糟糕。

我遇到了更高分辨率的问题。我从RosyWriter示例项目中调整了大部分代码。以下是设置资产编写器,开始录制以及向视频流添加UIImage的主要例程。

祝你好运。

CGSize const VIDEO_SIZE = { 640, 360 };

- (void) startRecording
{
    dispatch_async(movieWritingQueue, ^{
        NSLog(@"startRecording called in state 0x%04x", state);
        if (state != STATE_IDLE) return;
        state = STATE_STARTING_RECORDING;
        NSLog(@"startRecording changed state to 0x%04x", state);

        NSError *error;
        //assetWriter = [[AVAssetWriter alloc] initWithURL:movieURL fileType:AVFileTypeQuickTimeMovie error:&error];
        assetWriter = [[AVAssetWriter alloc] initWithURL:movieURL fileType:AVFileTypeMPEG4 error:&error];
        if (error) {
            [self showError:error];
        }
        [self removeFile:movieURL];
        [self resumeCaptureSession];
        [self.delegate recordingWillStart];
    }); 
}


// TODO: this is where we write an image into the movie stream...
- (void) writeImage:(UIImage*)inImage
{
    static CFTimeInterval const minInterval = 1.0 / 10.0;

    static CFAbsoluteTime lastFrameWrittenWallClockTime;
    CFAbsoluteTime thisFrameWallClockTime = CFAbsoluteTimeGetCurrent();
    CFTimeInterval timeBetweenFrames = thisFrameWallClockTime - lastFrameWrittenWallClockTime;
    if (timeBetweenFrames < minInterval) return;

    // Not really accurate, but we just want to limit the rate we try to write frames...
    lastFrameWrittenWallClockTime = thisFrameWallClockTime;

    dispatch_async(movieWritingQueue, ^{
        if ( !assetWriter ) return;

        if ((state & STATE_STARTING_RECORDING) && !(state & STATE_MASK_VIDEO_READY)) {
            if ([self setupAssetWriterImageInput:inImage]) {
                [self videoIsReady];
            }
        }
        if (state != STATE_RECORDING) return;
        if (assetWriter.status != AVAssetWriterStatusWriting) return;

        CGImageRef cgImage = CGImageCreateCopy([inImage CGImage]);
        if (assetWriterVideoIn.readyForMoreMediaData) {
            CVPixelBufferRef pixelBuffer = NULL;

            // Resize the original image...
            if (!CGSizeEqualToSize(inImage.size, VIDEO_SIZE)) {
                // Build a context that's the same dimensions as the new size
                CGRect newRect = CGRectIntegral(CGRectMake(0, 0, VIDEO_SIZE.width, VIDEO_SIZE.height));
                CGContextRef bitmap = CGBitmapContextCreate(NULL,
                                                            newRect.size.width,
                                                            newRect.size.height,
                                                            CGImageGetBitsPerComponent(cgImage),
                                                            0,
                                                            CGImageGetColorSpace(cgImage),
                                                            CGImageGetBitmapInfo(cgImage));

                // Rotate and/or flip the image if required by its orientation
                //CGContextConcatCTM(bitmap, transform);

                // Set the quality level to use when rescaling
                CGContextSetInterpolationQuality(bitmap, kCGInterpolationHigh);

                // Draw into the context; this scales the image
                //CGContextDrawImage(bitmap, transpose ? transposedRect : newRect, imageRef);
                CGContextDrawImage(bitmap, newRect, cgImage);

                // Get the resized image from the context and a UIImage
                CGImageRef newImageRef = CGBitmapContextCreateImage(bitmap);
                CGContextRelease(bitmap);
                CGImageRelease(cgImage);
                cgImage = newImageRef;
            }

            CFDataRef image = CGDataProviderCopyData(CGImageGetDataProvider(cgImage));

            int status = CVPixelBufferPoolCreatePixelBuffer(kCFAllocatorDefault, self.assetWriterPixelBufferAdaptor.pixelBufferPool, &pixelBuffer);
            if(status != 0){
                //could not get a buffer from the pool
                NSLog(@"Error creating pixel buffer:  status=%d", status);
            }
            // set image data into pixel buffer
            CVPixelBufferLockBaseAddress( pixelBuffer, 0 );
            uint8_t* destPixels = CVPixelBufferGetBaseAddress(pixelBuffer);

            // Danger, Will Robinson!!!!!  USE_BLOCK_IN_FRAME warning...
            CFDataGetBytes(image, CFRangeMake(0, CFDataGetLength(image)), destPixels);

            if(status == 0){
                //CFAbsoluteTime thisFrameWallClockTime = CFAbsoluteTimeGetCurrent();
                CFTimeInterval elapsedTime = thisFrameWallClockTime - firstFrameWallClockTime;
                CMTime presentationTime = CMTimeAdd(firstBufferTimeStamp, CMTimeMake(elapsedTime * TIME_SCALE, TIME_SCALE));
                BOOL success = [self.assetWriterPixelBufferAdaptor appendPixelBuffer:pixelBuffer withPresentationTime:presentationTime];


                if (!success)
                    NSLog(@"Warning:  Unable to write buffer to video");
            }

            //clean up
            CVPixelBufferUnlockBaseAddress( pixelBuffer, 0 );
            CVPixelBufferRelease( pixelBuffer );
            CFRelease(image);
            CGImageRelease(cgImage);
        } else {
            NSLog(@"Not ready for video data");
        }
    });
}


-(BOOL) setupAssetWriterImageInput:(UIImage*)image
{
    NSDictionary* videoCompressionProps = [NSDictionary dictionaryWithObjectsAndKeys:
                                           [NSNumber numberWithDouble:1024.0*1024.0], AVVideoAverageBitRateKey,
                                           nil ];

    NSDictionary* videoSettings = [NSDictionary dictionaryWithObjectsAndKeys:
                                   AVVideoCodecH264, AVVideoCodecKey,
                                   //[NSNumber numberWithInt:image.size.width], AVVideoWidthKey,
                                   //[NSNumber numberWithInt:image.size.height], AVVideoHeightKey,
                                   [NSNumber numberWithInt:VIDEO_SIZE.width], AVVideoWidthKey,
                                   [NSNumber numberWithInt:VIDEO_SIZE.height], AVVideoHeightKey,

                                   videoCompressionProps, AVVideoCompressionPropertiesKey,
                                   nil];
    NSLog(@"videoSettings: %@", videoSettings);

    assetWriterVideoIn = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo outputSettings:videoSettings];
    NSParameterAssert(assetWriterVideoIn);
    assetWriterVideoIn.expectsMediaDataInRealTime = YES;
    NSDictionary* bufferAttributes = [NSDictionary dictionaryWithObjectsAndKeys:
                                      [NSNumber numberWithInt:kCVPixelFormatType_32ARGB], kCVPixelBufferPixelFormatTypeKey, nil];

    self.assetWriterPixelBufferAdaptor = [AVAssetWriterInputPixelBufferAdaptor assetWriterInputPixelBufferAdaptorWithAssetWriterInput:assetWriterVideoIn sourcePixelBufferAttributes:bufferAttributes];

    //add input
    if ([assetWriter canAddInput:assetWriterVideoIn]) {
        [assetWriter addInput:assetWriterVideoIn];
    }
    else {
        NSLog(@"Couldn't add asset writer video input.");
        return NO;
    }

    return YES;
}

答案 1 :(得分:1)

也许你可以使用UIGetScreenImageAVAssetWriter来保存h264 mp4文件,从而获得更好的表现。

AVAssetWriterInput添加到资产编写者并致电:

- (BOOL)appendSampleBuffer:(CMSampleBufferRef)sampleBuffer

定期(可能您可以在主线程上安排计时器),并通过调用UIGetScreenImage()从收集的UIImage创建一个样本缓冲区。

AVAssetWriterInputPixelBufferAdaptor对此方法也有用:

- (BOOL)appendPixelBuffer:(CVPixelBufferRef)pixelBuffer withPresentationTime:(CMTime)presentationTime

您可以查看this questionCGImageRef转换为CVPixelBufferRef

关于UIGetScreenImage的说明,它是一个私有API,但已被Apple允许:https://devforums.apple.com/message/149553#149553

答案 2 :(得分:1)

我认为你应该采取严肃的退步,并考虑你想要达到的最终效果是什么。我不认为继续沿着这条道路前进将会带领你取得非常大的成功。如果您的最终目标只是您的用户所采取的操作的分析信息,那么您可以使用相当多的iOS风格的分析工具。您应该捕获比简单的屏幕抓取更有用的信息。不幸的是,因为您的问题非常关注您发现的帧率问题,我无法确定您的最终目标。

我不建议使用私有API并尝试实时记录屏幕数据。这只是处理过多的信息。这是来自一位将iOS设备推向极限的游戏开发老手。也就是说,如果你确实提出了一个可行的解决方案(可能是涉及CoreGraphics和高压缩图像的非常低级别的东西),我很乐意听到它。

答案 3 :(得分:1)

如果您的目标是iPhone 4S或iPad 2(或更新版本),那么AirPlay镜像可能会满足您的需求。有一个名为Reflection的Mac应用程序将接收AirPlay内容,甚至可以直接录制.mov。这可能不适用于支持不同的用户或位置,但它对我有帮助。