我需要创建一个Java应用程序，它可以检测Windows或Linux上应用程序的任何GUI组件。例如，你有一个Firefox浏览器正在运行，我希望有一个交互式组件列表（如按钮，菜单），并可能用我的程序驱动Firefox（有点像遥控器）。操作系统是否提供了一些能够实现此功能的功能？
我记得很久以前，当我做一些自动软件测试时，测试软件可以告诉每个GUI组件Windows上的任何应用程序。我环顾四周，找到了ResourceHacker（http://www.angusj.com/resourcehacker/rh_shot.html），它有些相似。
这可以通过Java实现吗？如果没有，可能适合哪种语言？那里有任何开源解决方案吗？
任何指针/建议都将不胜感激。 谢谢！