Question

我正在尝试将一个iPhone上的实时视频缓冲区传输到另一个iPhone（称为客户端iPhone）以进行预览显示，并且还接受来自客户端iPhone的命令。我正在考虑实现这一目标的标准方法。我找到的最接近的是Github上的AVCaptureMultipeerVideoDataOutput。

然而，仍然使用Multipeer连接框架，我认为它仍然需要在两个iPhone上进行一些设置。我想要的是理想情况下两个iPhone都不需要设置，只要在两个iPhone上启用Wifi（或者如果可能的话，蓝牙），对等体应该在应用程序中相互识别并提示用户有关设备发现的信息。有哪些标准方法可以实现此目的以及示例代码的任何链接？

编辑：我从头开始编写代码后，通过Multipeer连接实现了它。截至目前，我通过缩减和放大将像素缓冲区发送到对等设备。将数据压缩为jpeg。在远程设备上，我有UIImage设置，我每帧都显示数据。但是我认为UIKit可能不是显示数据的最佳方式，即使图像很小。如何使用OpenGLES显示此数据？在Opengles中可以直接解码jpeg吗？

Answer 1

评论：

截至目前，我正在将像素缓冲区发送到对等设备降尺度＆amp;将数据压缩为jpeg。在远程设备上，我有UIImage设置我每隔一段时间显示数据。然而我认为UIKit可能不是显示数据的最佳方式，尽管如此图像很小。

事实证明，这是通过Multipeer Connectivity框架传输图像的最佳方式。我尝试了所有替代方案：

我使用VideoToolbox压缩了帧。太慢了。
我使用压缩压缩帧。太慢了，但更好。

让我为＃2提供一些代码：

在iOS设备上传输图像数据：

typedef struct {
    size_t length;
    void *data;
} ImageCacheDataStruct;

- (void)session:(nonnull MCSession *)session didReceiveData:(nonnull NSData *)data fromPeer:(nonnull MCPeerID *)peerID
{
    NSLog(@"Receiving size: %lu", [data length]);
    uint8_t *original = malloc(sizeof(uint8_t) * 1228808);
    size_t originalSize = compression_decode_buffer(original, 1228808, [data bytes], [data length], NULL, COMPRESSION_ZLIB);

    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    CGContextRef newContext = CGBitmapContextCreate(original, 640, 480, 8, 2560, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
    CGImageRef newImage = CGBitmapContextCreateImage(newContext);

    UIImage *image = [[UIImage alloc] initWithCGImage:newImage scale:1 orientation:UIImageOrientationUp];

    CGContextRelease(newContext);
    CGColorSpaceRelease(colorSpace);
    CGImageRelease(newImage);

    if (image) {
        dispatch_async(dispatch_get_main_queue(), ^{
            [((ViewerViewController *)self.childViewControllers.lastObject).view.layer setContents:(__bridge id)image.CGImage];
        });
    }
}

在显示图像数据的iOS设备上：

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

    CVPixelBufferLockBaseAddress(imageBuffer,0);
    uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer);
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
    size_t width = CVPixelBufferGetWidth(imageBuffer);
    size_t height = CVPixelBufferGetHeight(imageBuffer);

    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
    CGImageRef newImage = CGBitmapContextCreateImage(newContext);


    UIImage *image = [[UIImage alloc] initWithCGImage:newImage scale:1 orientation:UIImageOrientationUp];
    CGImageRelease(newImage);
    CGContextRelease(newContext);
    CGColorSpaceRelease(colorSpace);
    CVPixelBufferUnlockBaseAddress(imageBuffer, 0);

    if (image) {
        NSData *data = UIImageJPEGRepresentation(image, 0.7);
        NSError *err;
        [((ViewController *)self.parentViewController).session sendData:data toPeers:((ViewController *)self.parentViewController).session.connectedPeers withMode:MCSessionSendDataReliable error:&err];
    }
}

虽然此代码在接收端生成原始质量的图像，但您发现这对于实时播放来说太慢了。

这是最好的方法：

在iOS设备上发送图像数据：

- (void)session:(nonnull MCSession *)session didReceiveData:(nonnull NSData *)data fromPeer:(nonnull MCPeerID *)peerID
{
  dispatch_async(self.imageCacheDataQueue, ^{
        dispatch_semaphore_wait(self.semaphore, DISPATCH_TIME_FOREVER);
        const void *dataBuffer = [data bytes];
        size_t dataLength = [data length];
        ImageCacheDataStruct *imageCacheDataStruct = calloc(1, sizeof(imageCacheDataStruct));
        imageCacheDataStruct->data = (void*)dataBuffer;
        imageCacheDataStruct->length = dataLength;

        __block const void * kMyKey;
        dispatch_queue_set_specific(self.imageDisplayQueue, &kMyKey, (void *)imageCacheDataStruct, NULL);

        dispatch_sync(self.imageDisplayQueue, ^{
            ImageCacheDataStruct *imageCacheDataStruct = calloc(1, sizeof(imageCacheDataStruct));
            imageCacheDataStruct = dispatch_queue_get_specific(self.imageDisplayQueue, &kMyKey);
            const void *dataBytes = imageCacheDataStruct->data;
            size_t length = imageCacheDataStruct->length;
            NSData *imageData = [NSData dataWithBytes:dataBytes length:length];
            UIImage *image = [UIImage imageWithData:imageData];
            if (image) {
                dispatch_async(dispatch_get_main_queue(), ^{
                    [((ViewerViewController *)self.childViewControllers.lastObject).view.layer setContents:(__bridge id)image.CGImage];
                    dispatch_semaphore_signal(self.semaphore);
                });
            }
        });
    });
}

在接收图像数据的iOS设备上：

{{1}}

信号量和单独的GCD队列的原因很简单：您希望帧以相等的时间间隔显示。否则，视频有时会慢慢放慢速度，然后加速到正常速度以便赶上。我的方案确保每个帧以相同的速度一个接一个播放，无论网络带宽瓶颈如何。

iOS中的点对点视频

1 个答案: