Question

我正在研究一个研究项目。情况就是这样。

我正在获取桌面的屏幕截图，然后我使用API处理它以获取我桌面上的某个文本的位置。例如，我在桌面上打开浏览器并且我在stackoverflow.Now I想要在截图中搜索徽标 stackoverflow 的位置。然后我想模拟点击它。我正在使用Java平台。

现在我有两个问题：

1）是否有任何免费的API（OCR）可用于处理屏幕截图以获取文本位置（或者可以通过某种技巧完成）并提供良好的结果。

或者您可以建议我可以使用（而不是截屏并处理它）来获取屏幕上任何文字的位置。

2）如何通过运行后台程序使用代码模拟屏幕上的点击（我的意思是我已经在Swing和其他语言UI中完成了它，但这次它与我现在想要点击屏幕上的不同。

Answer 1

如果我理解你，你想移动鼠标并点击屏幕。您可以使用Java中的机器人类，这并不难！

例如：

Robot rob = new Robot();
rob.keyPress( KeyEvent.VK_ENTER );

或者说什么，你可以用这么多的钮扣和动作。找到的所有方法的列表here。

你的另一个问题我无法回答。我认为没有能够搜索文本并为您提供位置的API。但我所知道的是机器人类能够捕获屏幕并将其放入BufferedImage中。有了它，你可以比较两张照片。

也许您可以使用this，但我不知道这是否是您搜索的内容。