iPhone测试自动化 - 基准测试工具？

Question

您好 我们正在扩大我们在一家大银行的项目之一，以便通过移动设备进行访问。我们正在评估一些工具 - 公司。 perfecto mobile，experitst和devicesanywhere。 从我们最初的评估中，perfecto和设备可以覆盖更多的手机配备功能手机。另一方面，Experitest非常强大且易于使用智能手机（iphone，android等）。 任何人都可以分享使用这些工具进行大型项目的经验吗？我们主要是保持稳定性，使用QTP的能力和支持考虑因素（支持新设备等）。

Answer 1

我广泛使用过DeviceAnywhere。在经历了相当令人失望的试用期后，Perfecto并没有那么多。 DA具有QTP和QC的支持/加载项。 Perfecto不包括QC。 Perfecto并不比DA快，因为他们的大多数设备都在以色列，而不是美国。 DA在美国和国外都有一些数据中心，因此您有更好的机会获得更好的性能。 DA拥有相当长的企业和运营商客户名单......而Perfecto似乎是一家非常小的公司。比较他们的网站质量 - 很明显哪一个看起来更专业......你应该尝试两者并下定决心......

Answer 2

我多次使用所有3个平台

只有Perfecto Mobile和DA对于真正的测试人员来说足够强大（至少对于企业级别而言）。

DA拥有更多设备，但Perfecto 100％基于网络，更快，更便宜。两者都提供有利有弊的自动化环境，但Perfecto提供QTP集成和增强的安全解决方案

结论 - 对于从事移动测试的企业来说，两个系统都很好，Perfecto更便宜，Perfecto更好。

圭

Answer 3

考虑将标准软件远程控制产品与标准软件测试机器人（如QTP）相结合。

作为替代方案，并且主要是与设备无关的，但依赖于位图的解决方案，您可以使用众多遥控器中的一个来显示移动设备的显示内容到桌面。然后，使用您最喜欢的测试机器人在该遥控器窗口中“点击”。

这听起来很愚蠢吗？嗯，它有其强大和弱点：

如果为您设置了QTP，您将无法进行位图同步，不会看到其他有用的GUI属性。但是，如果您拥有一些QTP专有技术，您可以通过QC，测试数据寻址等方式重用测试管理集成的所有专有技术，编写“艺术”脚本，例如等待正确的事情，将位图转换为文本，依此类推。您甚至可以“实时”验证移动设备上显示的结果以填充公司后端，或者在移动设备上执行某些事务后在某些中央数据库中研究预期结果 - 这一切都很简单，因为您的测试机器人运行时这是IT基础架构的一部分，因此可以轻松访问这些资源。这些访问可以通过我们在基于PC的测试机器人上习惯的所有舒适度来完成，例如QTP的数据库检查点。

积极的方面是：使用这样的场景，您在很大程度上独立于移动设备的技术细节，并且可以通过使用不同的预期位图集来支持许多不同的设备。 （如果工作流程完全相同，当然并非总是如此。）

如果您不需要购买额外的测试机器人，这种解决方案可能是无与伦比的便宜。例如，大多数Windows移动设备可以与Microsoft的免费远程控制一起使用，并且有许多商业供应商在一个包中为各种设备提供远程控制功能。

此外，您可以使用模拟移动设备的模拟器开发测试脚本，因为测试机器人不会知道从真实内容中获取的显示器或模拟器显示的显示器之间的区别。

我已经使用CitraTest或QTP作为测试机器人，使用各种遥控器和PDA /智能手机设备完成了所有这些工作。我很高兴不必使用另一种专业工具，甚至不止一种工具，每种工具都有自己的语言或方法。

除了已经提到的障碍之外，最大的障碍是：

• 找到一个多功能，快速和可靠的遥控器
• 找到一种方法让移动设备为所有应用程序使用其“正常”通信路径（例如，蜂窝连接），同时由于性能原因（并最大限度地减少副作用），远程控制通过直接连接（ USB，propretiary synch cable，network ...无论移动设备支持什么。）
• 创建一个足够精确的脚本“标准”，以保持测试机器人和移动应用程序执行同步，同时避免过于频繁地重新捕获所有支持设备的预期位图（这可以部分自动化）
• 计时问题 - 当您处于位图级别时，很难判断您是否等待“足够长时间”某些消息出现，消失或其他任何消息。
• 覆盖外来物，例如“应用程序仅在您使用移动相机拍照后继续”。一般来说：控制移动设备的内置外围设备（多么矛盾...）（在我的情况下，我必须让条形码扫描器“看到”特定的图像 - 非常困难，通常非常依赖于设备自动化）

但是，这是可行的，这样的解决方案可以非常稳定和可靠，在测试维护工作方面具有足够的成本效益等级（取决于应用程序到测试的频率变化，当然）。

Answer 4

jQuery在功能手机和智能手机上运行lot of tests automatically，也许你可以使用他们的测试系统。作为旁注，请检查jQuery mobile是否适合您，看起来非常酷。

Answer 5

据我所知，Perfecto Mobile已经对其产品进行了一些重大改进，目前提供了一些主要优势，包括价格。在过去的几个月里，他们增加了联想nePaone等流行设备。您可以在他们的网站上看到完整列表：www.perfectomobile.com。由于他们使用与Device Anywhere不同的控制技术，因此他们可以非常快速地支持新设备。关于稳定性和QTP，它们也具有许多优点。例如，用于记录您自己的特定用户场景并跨设备重复测试的工具 - 这是一个适用于大型项目的强大自动化工具。

Answer 6

如果您正在测试银行应用程序，则应考虑安全问题。 您如何保护您的应用程序和应用程序数据。一旦您释放手机，其他人就可以控制它。 我的建议是使用我相信所有上述解决方案的现场功能。