无法通过Appium Android在工具提示上执行操作

Question

我正在尝试使用Appium自动化Android应用程序。我必须在工具提示上执行单击操作，但appium不识别工具提示。我在下面附上截图，我必须在“Margaritaville-Grand Turk”上执行点击事件，但我无法执行此操作。我们如何在工具提示上执行操作。

Answer 1

我是Appium和移动自动化的新手，但我猜测在活动结构中无法找到工具提示（您可以使用Appium检查员或UIAutomatorViewer查看），与吐司通知和{{1}相同的问题}。我用OCR图像识别引擎解决了这个问题。

在这里，您可以在Ruby中找到我的实现：gist

我使用2个OCR库，因为两者都有限制：

• 'rtesseract'找不到文字坐标
• 'tesseract'在文字识别方面存在问题

想法很简单：

1. 获得所需的屏幕状态（即显示工具提示）
2. 制作截图或少数
3. 处理这些屏幕截图，并查找必需的文字
4. 获取文本坐标，然后单击它。

希望有所帮助