使用Firebase远程配置进行互斥A / B测试

Question

我想使用带远程配置的Firebase A / B测试在应用上执行两次A / B测试。

问题在于两个测试受众应该是互斥的。形成两个实验的一部分可能会污染结果。

当用户进入实验1并从实验2受众中排除此属性值时，我已经考虑过设置Firebase Analytics用户属性，但我担心用户同时进入两个实验获取远程配置值。

是否有更好的解决方案可以阻止用户进入这两个实验？

Answer 1

（为了这个答案的目的，我假设你在谈论我们刚刚在上周推出的新的A / B测试框架）

现在，您无法真正确保使用新的A / B测试框架的互斥实验组。如果您指定10％的用户在实验A中，10％在实验B中，那么实验B中的一小部分用户（特别是其中约10％）也将在实验A中。

好消息是来自实验A的那些用户应该在实验B中的变体中均匀分布。但是，如果你发现自己处于一种情况，你觉得这些实验用户会偏爱一种变体而不是另一种变体（从而歪曲你的结果），你有两个选择：

1. 连续而不是并行运行A / B测试。等到你停止第一次实验，然后再运行第二次实验。

2. 如果有意义，请尝试将它们组合成一个多变量实验。例如，假设实验A正在添加更快的登录流程，而实验B正在推动您的登录流程，直到此过程的后期。您可以尝试创建这样的多变量实验：

+---------------------+---------------+----------------+
|        Group        | Sign-in speed | Sign-in timing |
+---------------------+---------------+----------------+ 
| Control             | (default)     | (default)      |
| Speedy              | Speedy        | (default)      |
| Deferred            | (default)     | Deferred       |
| Speedy and Deferred | Speedy        | Deferred       |
+---------------------+---------------+----------------+

这样做的好处是，您可以更深入地了解两个实验中是否确实以您怀疑的方式影响了您的用户。

Answer 2

我只会在安装时将property设置为1到10之间的随机数。

然后，您应该可以通过过滤用户来进行“独家A / B测试”。

Answer 3

它应该能够利用“激活事件”并行运行互斥的A / B测试实验，但是，它需要额外的工作来维护客户端的某些状态。