Question

层次结构查看器允许您通过将手机连接到笔记本电脑来提取有关UI元素的信息。它的工作原理是通过adb轮询Window Manager / View Manager获取信息。

我想知道是否可以在运行时使用后台服务提取手机上的前景屏幕的UI信息？

我正在尝试构建一个辅助服务（类似于Talkback），并试图找到一种方法来收集有关活动前台屏幕上所有UI元素（他们的类（例如按钮）和位置）的信息。我已经能够提供辅助功能服务，但我无法找到获取UI信息的方法。

Answer 1

我写了一些代码并且工作得很好，也许它就是你想要的。

首先，获取内容视图：

ViewGroup parent = (ViewGroup) findViewById(android.R.id.content);

然后使用方法检查父视图的每个元素：

private void showViewInfo(View view){
    if(view instanceof ViewGroup){

        //do something when find view group:
        System.out.println(view.getClass().toString()+"\tx:"+view.getX()+"\ty:"+view.getY());


        for(int i=0;i<((ViewGroup) view).getChildCount();i++){
            showViewInfo(((ViewGroup) view).getChildAt(i));
        }
    }else{

        //do something when find children
        System.out.println(view.getClass().toString()+"\tx:"+view.getX()+"\ty:"+view.getY());
    }
}

最后，使用父视图作为参数调用方法：

showViewInfo(parent);

你可以得到这样的东西：

System.out: class android.support.v7.widget.ContentFrameLayout  x:0.0   y:0.0

这是完整的代码：

public class MainActivity extends AppCompatActivity {

@Override
protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    setContentView(R.layout.activity_main);


    ViewGroup parent = (ViewGroup) findViewById(android.R.id.content);
    showViewInfo(parent);
}

private void showViewInfo(View view){
    if(view instanceof ViewGroup){
        //do something when find view group:
        System.out.println(view.getClass().toString()+"\tx:"+view.getX()+"\ty:"+view.getY());
        //find the children
        for(int i=0;i<((ViewGroup) view).getChildCount();i++){
            showViewInfo(((ViewGroup) view).getChildAt(i));
        }
    }else{
        //do something when find children
        System.out.println(view.getClass().toString()+"\tx:"+view.getX()+"\ty:"+view.getY());
    }
}

}

Answer 2

我能够找到问题的答案。

Android辅助功能API提供此功能。我能够实现一个辅助功能服务，并且对于每个辅助功能事件，我能够使用Accessibility Node Info函数，这实际上是前景屏幕上所有UI元素的树形表示。例如，线性布局由按钮和图像组成，然后按钮和图像将是LL的子项。

树的根可以通过以下方式找到：

AccessibilityNodeInfo rootNode = getRootInActiveWindow();

然后我能够使用getChild()函数遍历树（广度优先搜索），该函数为我提供了活动屏幕上所有UI元素的列表。

希望它也可以帮助其他人！

如何在运行时提取Android应用程序中的UI元素的信息？

2 个答案: