当系统的WebView为Chrome或Android System WebView(版本均为84

时间:2020-08-15 04:43:10

标签: android android-webview android-uiautomator

我从根电话中运行的uiautomator dump命令运行的new Date("sep 01, 2020 01:59:59")命令的不同应用程序中获取xml转储。将Chrome或Android System WebView设置为版本不同于84的WebView实现时,一切正常。当版本为84时,仅在WebView应用程序中,我无法获取视图,而xml仅显示有一个WebView,但没有。不能显示它的子元素。

我对Appium尝试了相同的操作(只是出于测试目的,以防万一我遗漏了一些东西,因为我需要在不插入计算机的情况下在我的应用程序中获取xml),并且行为是相同的(到目前为止我知道,Appium还使用uiautomator来转储视图)。

我已经在带有Chrome 81.0.4044.138的Android 8和带有Android System WebView 77.0.3865.92的Android 9中进行了尝试,并且工作正常。当我将Android 9手机Android系统WebView更新到最新版本(84.0.4147.125)时,无法从WebView应用程序中获取元素,也无法使用Chrome,只能获取WebView元素。

我想知道的是,最新的Android WebView版本(Chrome和Android System,版本84)是否缺少我缺少的新功能,这些功能不会让uiautomator正确地从基于WebView的转储xml文件中应用。也许如果我必须做其他事情,或者这是一个错误。谢谢!

1 个答案:

答案 0 :(得分:0)

我发现了一种更快且非 root 的获取视图层次结构的方法,该方法在大多数 Chrome 版本中也能正常工作(如果是基于 webview 的应用程序),即使在 Chrome 80+ 中也是如此,并且它使用了 AccesibilityService。

所以,我首先创建了一个扩展 AccessibilityService 的服务:

public class BasicAccessibilityService extends AccessibilityService {

    private static BasicAccessibilityService instance;

    public static BasicAccessibilityService getInstance(){
        return instance;
    }

   
    @Override
    protected void onServiceConnected() {
        instance = this;
        super.onServiceConnected();
    }

    @Override
    public int onStartCommand(Intent intent, int flags, int startId) {
        return super.onStartCommand(intent, flags, startId);
    }

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
    }

    @Override
    public void onInterrupt() {
    }

    @Override
    public void onDestroy() {
        super.onDestroy();
    }

    @Override
    public void onCreate() {
        super.onCreate();
    }

    @Override
    public AccessibilityNodeInfo getRootInActiveWindow() {
        try {
            return super.getRootInActiveWindow();
        } catch (Throwable ignored) {
            returenter code heren null;
        }
    }
}

在清单中:

<service
    android:name="BasicAccessibilityService"
    android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE">
    <intent-filter>
        <action android:name="android.accessibilityservice.AccessibilityService" 
    />
    </intent-filter>
        <meta-data
            android:name="android.accessibilityservice"
            android:resource="@xml/service_config" />
</service>

在 service_config.xml 中:

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service
    xmlns:android="http://schemas.android.com/apk/res/android"
    android:description="@string/accessibility_service_description"
    android:accessibilityEventTypes="typeAllMask"
    android:accessibilityFlags="flagReportViewIds|flagDefault|flagRequestFilterKeyEvents|flagRetrieveInteractiveWindows|flagEnableAccessibilityVolume"
    android:canRetrieveWindowContent="true"
    android:canRequestTouchExplorationMode="true"
    android:accessibilityFeedbackType="feedbackGeneric"
    android:canPerformGestures="true"
    android:canRequestFilterKeyEvents="true"
    android:notificationTimeout="0"
    />

现在无障碍服务已设置,并且可以在我们想要获取视图层次结构时调用。请记住,要使其正常工作,应用程序必须授予可访问性权限。授予权限后,会自动调用 onServiceConnected 方法,因此我们可以从它的实例调用我们的服务并获得如下视图:

BasicAccessibilityService.getInstance().getRootInActiveWindow()

这将返回一个包含当前视图信息的 AccessibilityNodeInfo

如果您需要以 XML 格式获取视图层次结构,您可以使用 uiautomator 源代码中的 AccessibilityNodeInfoDumper 类,可在此处找到:

https://android.googlesource.com/platform/frameworks/uiautomator/+/5fe6e7f321f02b08224fad72374ed041f459b411/core/com/android/uiautomator/core/AccessibilityNodeInfoDumper.java

此外,您还必须将在此处找到的 AccessibilityNodeInfoHelper 添加到您的代码中:

https://android.googlesource.com/platform/frameworks/uiautomator/+/5fe6e7f321f02b08224fad72374ed041f459b411/core/com/android/uiautomator/core/AccessibilityNodeInfoHelper.java

当我实现上述代码以将 AccessibilityNodeInfo 解析为 XML 时,我遇到了与之前使用 uiautomator dump 获取视图时遇到的几乎相同的问题。我发现问题出在 isVisibleToUser 类中 dumpNodeRec 内的 AccessibilityNodeInfoDumper 方法中。

出于某种原因,对于某些应用程序,isVisibleToUser 方法对于在基于 Web 视图的应用程序中可见的视图返回 false,并且此行为会根据 Chrome 或系统 Web 视图版本而变化。因此,一个可能的解决方案是不使用该方法并获取所有视图,即使是那些“不可见”的视图,或者另一种选择是使用您自己的方法来确定某些视图是否可见。

对我来说,评论使用 isVisibleToUser 方法的行就够了。希望这可以帮助任何需要做类似事情的人。