我已经设置了以d1保留为目标指标的Firebase进行a / b实验。昨天,我检查了结果,并在一组中拥有(例如)30个保留用户。当我今天再次检查该实验时,该组只有20个保留用户,然后在几分钟后才有22个。 (与此同时,没有新用户添加到实验中,这很好)所有其他组的值也完全不同。 我知道我的实验仍然没有足够的数据来找到获胜者,但是我仍然希望数据是一致的,并且不会在一整天内随机变化(尤其是失去了留用用户,这甚至是不可能的(尤其是33 %跳))?
我能提出的唯一解释是,卸载会以某种方式从保留的用户中删除,而不是从实验组的总用户数中删除?这很糟糕,因为我在此阶段并不真正关心卸载,但是我非常关心原始d1保留。也许有人在这里有更好的解释或知道发生了什么事?