将拼字游戏的屏幕截图解析为数据结构的最佳方法？

Question

我想将在线拼字游戏的屏幕截图解析为数据结构，以便我可以通过求解器运行它以获得最佳动作。我没有计算机视觉方面的经验，但是通过大学课程掌握了ML的一些基本知识。任何想法将不胜感激！

我已经尝试过围绕“如何解析游戏图像”和相关主题进行谷歌搜索，我在使用OCR库方面有一些经验，但是最难的部分是以某种方式知道如何拆分图像，从而使OCR可以确定字符。

Answer 1

我对您的问题有一些想法。这里的主要目标是找到所有网格工况之间的水平和垂直空隙。

这是通过水平梯度穿过图像而获得的图像。

在这里，我说到，案例之间的不包含垂直边缘的水平线显示为全黑。因此，找到它们的一种方法是逐行计算该图像的均值，并取最低值。

这是通过逐行计算此平均值而获得的图形：

由于有了第二张图片，我仍在努力拆分所有行。