Question

我试图从这里采用代码：

进入我的计划。但是，我碰壁了。此代码将已存在的图像拼接在一起。我尝试制作的程序会将用户拍摄的图像拼接在一起。我得到的错误是当我将图像传递给针脚功能时，它说它们的大小无效（0 x 0）。

这是拼接功能：

- (IBAction)stitchImages:(UIButton *)sender {
    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{


        NSArray* imageArray = [NSArray arrayWithObjects:
                               chosenImage, chosenImage2, nil];
        UIImage* stitchedImage = [CVWrapper processWithArray:imageArray]; // error occurring within processWithArray function
        dispatch_async(dispatch_get_main_queue(), ^{

            NSLog (@"stitchedImage %@",stitchedImage);
            UIImageView *imageView = [[UIImageView alloc] initWithImage:stitchedImage];
            self.imageView = imageView;
            [self.scrollView addSubview:imageView];
            self.scrollView.backgroundColor = [UIColor blackColor];
            self.scrollView.contentSize = self.imageView.bounds.size;
            self.scrollView.maximumZoomScale = 4.0;
            self.scrollView.minimumZoomScale = 0.5;
            self.scrollView.contentOffset = CGPointMake(-(self.scrollView.bounds.size.width-self.imageView.bounds.size.width)/2, -(self.scrollView.bounds.size.height-self.imageView.bounds.size.height)/2);
            [self.spinner stopAnimating];

        });


    });

}

chosenImage和chosenImage2是用户使用这两个函数拍摄的图像：

- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary *)info {
    savedImage = info[UIImagePickerControllerOriginalImage];

    // display photo in the correct UIImageView
    switch(image_location){
        case 1:
            chosenImage = info[UIImagePickerControllerOriginalImage];
            self.imageView2.image = chosenImage;
            image_location++;
            break;
        case 2:
            chosenImage2 = info[UIImagePickerControllerOriginalImage];
            self.imageView3.image = chosenImage2;
            image_location--;
            break;

    }
    // if user clicked "take photo", it should save photo
    // if user clicked "select photo", it should not save photo
    /*if (should_save){
     UIImageWriteToSavedPhotosAlbum(chosenImage, nil, nil, nil);
     }*/
    [picker dismissViewControllerAnimated:YES completion:NULL];

}

- (IBAction)takePhoto:(UIButton *)sender {
    UIImagePickerController *picker = [[UIImagePickerController alloc] init];
    picker.delegate = self;
    picker.allowsEditing = NO;
    picker.sourceType = UIImagePickerControllerSourceTypeCamera;
    //last_pressed = 1;
    should_save = 1;
    [self presentViewController:picker animated:YES completion:NULL];
}

stitchesImages函数将这两个图像的数组传递给此函数：

+ (UIImage*) processWithArray:(NSArray*)imageArray
{
    if ([imageArray count]==0){
        NSLog (@"imageArray is empty");
        return 0;
        }
    cv::vector<cv::Mat> matImages;

    for (id image in imageArray) {
        if ([image isKindOfClass: [UIImage class]]) {
            cv::Mat matImage = [image CVMat3];
            NSLog (@"matImage: %@",image);
            matImages.push_back(matImage);
        }
    }
    NSLog (@"stitching...");
    cv::Mat stitchedMat = stitch (matImages); // error occurring within stitch function
    UIImage* result =  [UIImage imageWithCVMat:stitchedMat];
    return result;
}

这是程序遇到问题的地方。当它传递在应用程序文件中本地保存的图像时，它可以正常工作。但是，当传递保存在变量（selectedImage和selectedImage2）中的图像时，它不起作用。

这是在processWithArray函数中调用的stitch函数，并导致错误：

cv::Mat stitch (vector<Mat>& images)
{
    imgs = images;
    Mat pano;
    Stitcher stitcher = Stitcher::createDefault(try_use_gpu);
    Stitcher::Status status = stitcher.stitch(imgs, pano);

    if (status != Stitcher::OK)
        {
        cout << "Can't stitch images, error code = " << int(status) << endl;
            //return 0;
        }
    return pano;
}

错误是＆＃34;无法拼接图像，错误代码= 1＆＃34;。

Answer 1

你正在达到内存限制。包含的四个演示图像为720 x 960像素，而您使用的是设备相机的全分辨率图像。

以下是导致碰撞的仪器中的分配痕迹，从相机缝合两张图像......

enter image description here

这个github样本的要点是说明一些事情......
（1）如何将openCV与iOS集成;
（2）如何使用包装器分离Objective-C和C ++代码;
（3）如何在openCV中实现最基本的拼接功能。

最好被视为一个“你好世界”。适用于iOS + openCV的项目，并不适用于相机图像。如果你想按原样使用我的代码，我建议首先将相机图像缩小到可管理的大小（例如，长边最大1000）。

无论如何，您使用的openCV框架与项目一样古老。感谢您的问题，我刚刚更新了它（现在是arm64友好的），尽管内存限制仍然适用。

V2，OpenCVSwiftStitch可能是您实验的一个更有趣的起点 - 界面是用Swift编写的，它使用cocoaPods来跟上openCV版本（虽然目前固定为2.4.9.1为2.4。 10打破一切）。所以它仍然说明了这三点，并且还展示了如何使用Objective-C包装器作为中介来使用Swift和C ++。

~~我可以改进内存处理（通过传递指针）。如果是这样，我将推送更新到v1和v2。如果您可以进行任何改进，请发送拉取请求。~~

更新我已经看了一眼，我相当确定无法深入了解openCV拼接算法，无法改善内存处理。图像已经在堆上分配，因此没有任何改进。我希望最好的选择是平铺和缓存看起来像openCV正在创建的中间图像作为过程的一部分。如果我对此有任何进一步的说明，我会发布更新。同时，调整相机图像的大小是可行的方法。

更新2
一段时间后，我发现了问题的根本原因。当您使用iOS相机中的图像作为输入时，如果这些图像处于纵向方向，则它们将具有openCV的错误输入尺寸（和方向）。这是因为所有iOS相机照片都是本地拍摄的，并且是“左图”。像素尺寸为横向，右侧是主页按钮。要显示肖像，“图像定位”＆＃39; flag设置为UIImageOrientationRight。这仅指示操作系统将图像向右旋转90度以进行显示。

图像未旋转存储，左侧风景。不正确的像素方向会导致更高的内存要求以及openCV中不可预测/损坏的结果。

我在最新版本的openCVSwiftStitch中有fixed this：在添加到openCV管道之前，必要的图像以像素方式旋转。

使用openCV for iOS拼接图像的问题

1 个答案: