Question

我使用Google实验实施了A / B测试。但是，我们不希望A / B测试开始一段时间，因此在日期驱动条件下显示B变体。出于好奇，我在B变种上线之前就开始了实验。因此，在实验开始时，Google实验为我选择了一个变体（A或B，请参阅下面的代码），无论选择的变体如何，我都会显示变体A（因为我们还没有进入实际日期））。这有效地给了我A / A测试，我预计这将是一个死热。谷歌并不知道我在这个阶段向每个变体展示了完全相同的页面元素。

但是，我得到以下结果（显示每个会话的页面浏览量）：

上图显示了B变种上线当天的结果。虽然我预计页面视图中会出现一些自然变化，但变体B仍然如此一致，但似乎出现了一些错误，因为它在此时显示了与变体A相同的页面。我可能做错了什么想法？

以下是我们使用的代码：

      <script type="text/javascript" 
              src="//www.google-analytics.com/cx/api.js?experiment=MY_EXPERIMENT_ID"><!-- --></script>

      <script>
            function enableVariationB(shouldEnable) {
                var enableExperimentDate = new Date(2015, 6, 10);    
                var today = new Date();

                if (today < enableExperimentDate || shouldEnable) {
                    $('#variation_B').show();
                } else {
                    $('#variation_B').hide();
                }
            }

            //Call to Google Experiments to return 1 or 2 depending on 
            //which variation is to be shown to the user
            var chosenVariation = cxApi.chooseVariation();

            var pageVariations = [
                      function() {  
                          enableVariationB(true);  
                      }, 
                      function() {
                          enableVariationB(false);    
                      }
            ];

            $(document).ready(
                 pageVariations[chosenVariation]
            );
     </script>

Answer 1

嗯。在查看数据之前，在实验设置中，应在调用today < enableExperimentDate之前完成cxApi.chooseVariation()检查。

原因：即使从Google的观点中将访问者分配到变体B，如果他/她未通过实验日期检查，用户将看到的变体A即使他/她是应该是变化B。

现在，查看数据，

流量不足：您的网站/应用获得了多少流量？如果交通量很低，那可能只是巧合，结果不是决定性的。
不明确的成功指标/总体评估标准（OEC）：尽管变体B的页面查看次数高于变体A，但您的实验尝试优化的成功指标是什么？仅仅查看视图数量是不够的。
过早得出结论：例如，如果OEC是根据您的网站每天获得的流量将页面浏览量从1增加到2，那么就说需要1个月才能完成得到的数据量可以达到95％的实验信心，实验者不应该及早查看结果，并得出结论哪种治疗获胜与否 - 因为它没有足够的流量来给你95％的信心。 / p>
它仍然是假阳性的积极因素：即使我们对95％的信心结果充满信心，仍有5％的机会遇到假阳性结果 - 意思是，如果你运行20次测试，从统计学上讲，1次测试结果将不正确。这就是为什么实验者稍后为了确定而重新进行实验的原因并不少见。

希望以上几点有所帮助！

为什么Google实验在我的A / A测试中显示出显着的转换差异？

1 个答案: