AB测试框架创建

Question

在我的一个应用程序中，主页布局是从后端用Java编写的店面应用程序加载的。该应用程序以JSON形式生成具有小部件的布局，应用消耗和渲染布局。

我受命编写一些AB测试框架。如果有任何开源工具可以用来拦截我的JSON以进行AB测试，或者我应该为此写一些现成的解决方案。

Answer 1

您听到的大多数AB测试都是指通过在浏览器中注入JS进行的客户端测试。在Java应用程序中进行测试需要使用不同的方法。

您可以使用免费的开源工具，例如Planout。它用作基本的流量分配器，并使用确定性哈希算法，以便您在保持使用相同用户ID的情况下获得一致的变化。

如果您需要更强大的功能，则可能需要购买商业包装。对于应用内测试（移动，网络，后端），通常采用以下两种形式之一：

1. API方法：您的应用程序可以向供应商管理的服务器发送请求，以请求当前用户的版本。缺点是每次需要用户变化时都会等待响应，这会降低性能。
2. SDK：您在Java代码库中实现的，由供应商提供的SDK，使用确定性哈希值来确定用户的版本。在运行实验之前（以及以一定的更新频率），SDK需要从服务器检索某种类型的数据文件，其中包含实验状态，流量分配等信息，但随后您可以确定内存的变化（不阻止网络调用）。跟踪呼叫可以异步发送。

与免费解决方案相比，商业软件包将为您带来一些好处，例如用于管理实验的用户友好型Web门户，统计计算器，质量检查工具，功能标记，用户权限，持续的更新和支持等。

免责声明：我为Optimizely工作，他们开发了an SDK-driven platform用于AB测试和功能标记。