是否有任何代码库（例如JavaScript，C＃，Python或其他任何东西）可以标识网页表单屏幕截图的控件（例如按钮，文本框，下拉框，单选按钮，复选框和标签） ，还是桌面应用程序？
我正在尝试开发另一种自动UI测试工具，该工具不依赖于具有特定名称或确切形状的小部件（UI元素）。我希望能够向它提供渲染窗口的屏幕截图，让它看到UI元素，识别它们是什么，并通过其形状和文本内容以及与其他控件的接近程度来评估其目的。例如，认识到标签与给定的文本框相关联，因为它出现在标签的旁边。
先谢谢了。我似乎找不到合适的关键字来显示任何适当的Google结果。