如何改善小图像的检测

Question

我正在与Sikuli和SeeShell进行概念验证，以进行更大的RPA项目。我遇到的问题是如何在应用程序内部可靠地找到 small 图片。一些示例图片（主要是图标）：

对于一台特定的机器，我可以通过微调置信度来解决此问题，但这是一个非常脆弱的解决方案，很容易破解（而且一旦我们将脚本推广到其他机器，它肯定会破解）。

Answer 1

SeeShell几个月前推出了一项非常有用的ClickRelative功能，该功能使您可以用绿色框直观地定义锚点区域，然后标记“点击区域”相对 用一个粉红色的盒子。对于小图像或不是很独特的图像，这使自动化脚本更加稳定。换句话说，SeeShell在 green 框架内搜索（大）区域，然后单击（小） pink 框架的中间。例子：

当然，要关闭窗口，只需使用带有著名的Alt + F4（%F4）快捷方式的TYPE命令即可。通常，我仅在此处使用“ X”作为小图标的示例。

ClickRelative和MoveRelative还可用于各种滚动条，拖放，...

...并填写文本框。在这种情况下，可以使用文本框旁边的文本/图像（相对）（锚）。

粉红色框内的任何图像都没有关系，仅搜索绿色框内的图像。这意味着只要附近有稳定的锚定图像，您就可以单击更改的图像/图标/文本。

Answer 2

1. 使用快捷键访问图标（如果可用）。
2. 也可以使用Tab或输入键来处理此问题，因为它们在RDP中可以正常工作。

Answer 3

UiPath可能可以提供帮助。除了Find Image活动之外，您还可以使用其他操作，例如Image Exists，On Image Appear和On Image Vanish（有关详细信息，请单击here）。 / p>

您可以使用UiPath的Community Edition自己进行一些测试，但请先查看其license。

作为示例，这里的Find Image活动是如何在RDP会话中拾取一个很小的图标的。请注意，每个活动都有一个precision属性，该属性使您可以查找与设置活动时所使用的图像相似的图像。这很有用，因为在连接不良时使用RDP可能会导致图像失真，模糊或碎片化。