给定带孔点的网格插值/回归算法

Question

我有一个包含一组相同对象的图像，这些对象被置于规则网格中。这些对象的数量未知。

我需要以非常准确的方式找到该组对象的边界矩形，然后生成它们给出的网格。我可以使用模式匹配技术在图像中找到很多 - 但通常不是全部 - 这些对象，所以我也有很好的精度的角坐标。

因此，给定一个（例如，95％）角点坐标，其中缺失的那些随机分布，我需要“插入”网格。

我正在考虑按行和列进行线性回归，但如果旋转网格，它似乎会变得相当复杂。

是否有一些特定/更通用的网格查找算法可以适合我的问题？

感谢您的关注。