如何从屏幕显示中获取所有文本？

Question

我一直在努力从屏幕显示中获取ALL文字。我的应用程序尝试执行一些自动化，例如：

• 等待屏幕显示中显示或消失某些文字。
• 将鼠标移动到某个文本。

所以我需要在屏幕上找到所有文本，然后找到它们。

我尝试使用OCR技术和屏幕截图（here）。但结果令人沮丧。现在我转向Windows UI automation技术。我愿意学习COM和任何必要的东西。我相信它可以检测窗口标题，按钮文本等文本。但我深深怀疑它可以做以下事情：

• 检测控件内容区域中的文本，例如记事本中显示的文本。
• 检测控制台窗口中显示的文本。

以前有人做过这样的事吗？还有其他选择吗？

谢谢！