我正在开展一个项目，以提高葡萄酒自动测试软件包的能力。我现在要做的是检测当前窗口的屏幕截图中的文本。然后，我可以解析所有文本，并使用autohotkey鼠标单击我想要的文本的坐标。
例如，在firefox中，我可能想测试不同的东西，第一个打开是打开首选项。然后我需要解析firefox的截图，检测文本的所有单独位置。然后，我可以将这些单独的文本图像运行到tesseract-ocr中并检测哪一个，称为“编辑”。然后我再次重做这个“偏好”。
我试图找到一个解决方案，但到目前为止找不到任何东西。我更喜欢使用python或python绑定的解决方案，就像我到目前为止所编写的那样。
答案 0 :(得分：1)
可能的起点是Project SIKULI。它是自动化GUI测试的工具。它是用Java编写的，但它包含一个基于Jython的脚本环境，因此修改它以支持python脚本可能并不太困难。
答案 1 :(得分：0)
查看此链接http://www.testandtry.com/2010/02/01/5-great-automation-tools-based-on-image-recognition/ 但对我来说更好的是使用OpenCV和Python;）