Question

我正在使用Visual Studio 2012，C ++中的多图像拼接。我根据自己的要求修改了stitching_detailed.cpp，并提供了高质量的结果。这里的问题是，执行需要太多时间。对于 10张图片，需要 110秒。

这里大部分时间都在这里：

1）成对匹配 - 为10张图片拍摄 55秒！我正在使用ORB查找要素点。这是代码：

vector<MatchesInfo> pairwise_matches;
BestOf2NearestMatcher matcher(false, 0.35);
matcher(features, pairwise_matches);
matcher.collectGarbage();

我尝试使用此代码，因为我已经知道图像序列：

vector<MatchesInfo> pairwise_matches;
BestOf2NearestMatcher matcher(false, 0.35);

Mat matchMask(features.size(),features.size(),CV_8U,Scalar(0));
for (int i = 0; i < num_images -1; ++i)                                                 
    matchMask.at<char>(i,i+1) =1;                                                       
matcher(features, pairwise_matches, matchMask);                                         

matcher.collectGarbage();

它肯定会减少时间（18秒），但不会产生所需的结果。只有6个图像被拼接（最后4个被遗漏，因为图像6和图像7的特征点在某种程度上不匹配。所以循环中断了。）

2）合成 - 为10张图片拍摄 38秒！这是代码：

for (int img_idx = 0; img_idx < num_images; ++img_idx)
{
    printf("Compositing image #%d\n",indices[img_idx]+1);

    // Read image and resize it if necessary
    full_img = imread(img_names[img_idx]);

    Mat K;
    cameras[img_idx].K().convertTo(K, CV_32F);

    // Warp the current image
    warper->warp(full_img, K, cameras[img_idx].R, INTER_LINEAR, BORDER_REFLECT, img_warped);

    // Warp the current image mask
    mask.create(full_img.size(), CV_8U);
    mask.setTo(Scalar::all(255));
    warper->warp(mask, K, cameras[img_idx].R, INTER_NEAREST, BORDER_CONSTANT, mask_warped);

    // Compensate exposure
    compensator->apply(img_idx, corners[img_idx], img_warped, mask_warped);

    img_warped.convertTo(img_warped_s, CV_16S);
    img_warped.release();
    full_img.release();
    mask.release();

    dilate(masks_warped[img_idx], dilated_mask, Mat());
    resize(dilated_mask, seam_mask, mask_warped.size());
    mask_warped = seam_mask & mask_warped;

    // Blend the current image
    blender->feed(img_warped_s, mask_warped, corners[img_idx]);
}

Mat result, result_mask;
blender->blend(result, result_mask);

原始图像分辨率为4160 * 3120。我没有在合成中使用压缩，因为它降低了质量。我在其余的代码中使用了压缩图像。

正如您所看到的，我修改了代码并缩短了时间。但我仍然希望尽可能减少时间。

3）查找要点 - 使用ORB。 10张图片需要 10秒。为图像找到1530个最大特征点。

55 + 38 + 10 = 103 + 7 代码的其余部分 = 110。

当我在android中使用这个代码时，它需要几乎整个智能手机的内存（RAM）才能执行。如何减少Android设备的时间和内存消耗？（我使用的Android设备有2 GB RAM）

我已经优化了剩下的代码。非常感谢任何帮助！

编辑1：我在合成步骤中使用了图像压缩，时间从38秒减少到16秒。我还设法减少了其余代码的时间。

现在，从 110 - ＆gt; 85秒。帮助我减少成对匹配的时间;我不知道减少它！

编辑2：我在matchers.cpp中找到了成对匹配的代码。我在主代码中创建了自己的函数来优化时间。对于合成步骤，我使用压缩直到最终图像不会失去清晰度。对于特征查找，我使用图像缩放以缩小的图像比例查找图像特征。现在我可以轻松缝合多达50张图像。

Answer 1

由于55到18秒是一个相当不错的改进，也许你可以更多地控制匹配过程。我首先建议的是 - 如果你还没有 - 学会在每一步中调试过程，以了解图像没有被标记时出了什么问题。这样，您将始终学会控制例如您正在检测的ORB功能的数量。也许在某些情况下你可以限制它们并仍然得到结果，从而加快了过程（这不仅应该加速查找功能，还应该加快匹配过程）。

希望这会让你能够检测到这种情况，当你把它放在一边时 - 循环中断。因此，您可以相应地对情况作出反应。你仍然可以在一个循环中匹配序列，节省时间但是当你检测到匹配那个特定对时存在问题时，强制程序继续（或更改参数并尝试再次匹配该对）。

我不认为这里的构图过程有很大的改进空间，因为你不想失去质量。如果我是你，我会尝试研究，如果线程和并行计算可能有所帮助。

这是一个有趣且广泛存在的问题 - 如果你能够在不放弃质量的情况下加速它，你应该给LG或Google打电话，因为我的Nexus算法质量很差:)这既慢又不准确

如何优化多个图像拼接？

1 个答案: