假设我有一个简单的电子商务网站，销售100种不同的T恤设计。我想做一些a / b测试以优化我的销售。假设我想测试两个不同的“购买”按钮。通常，我会使用AB测试随机分配每个访问者以查看按钮A或按钮B（并尝试通过在会话，cookie等中存储该分配来确保用户体验是一致的。）
是否可以采用不同的方法，而是随机分配我的100个设计中的每一个以使用按钮A或B，并将转换率测量为（设计n的销售数量）/（网页浏览量）设计n）
这种方法似乎有一些优点;我不必担心保持用户体验的一致性 - 给定页面（例如www.example.com/viewdesign?id=6）将始终返回相同的html。如果我要测试不同的价格，那么用户看到不同设计的不同价格比不同计算机上相同设计的不同价格要低得多。我也想知道它对搜索引擎优化是否更好 - 我怀疑谷歌会“喜欢”它在抓取页面时总是看到相同的HTML。
显然，这种方法只适用于数量有限的网站;我只是想知道是否有人尝试过它？
答案 0 :(得分：1)
你的直觉是正确的。理论上，按页面随机化可以正常工作。两个治疗组都具有期望的平衡特征。
但是，样本量非常小，因此您需要小心。简单的随机化可能会偶然造成不平衡。标准解决方案是block关于衬衫的预处理特征。最重要的特征是你的治疗前结果，我假设是转换率。
有很多方法可以创建“平衡”的随机设计。例如，您可以使用optimal matching创建对，并在对中随机化。通过按照前一周/月的转换率对页面进行排名，然后创建一对邻居，可以找到更粗略的匹配。或者你可以在Aaron的建议中结合阻塞随机化：在成对中随机化，然后每周翻转治疗。
第二个问题，有些不相关，是interaction between treatments。这可能更成问题。如果用户在一个页面上看到一个按钮，然后在另一个页面上看到另一个按钮，则该新按钮可能会产生特别大的影响。也就是说，你真的可以将治疗看作独立吗？一页上的按钮是否影响另一页上的转换可能性？不幸的是，它可能会这样，特别是因为如果你在一个页面上买一件T恤，你可能不太可能在另一页上买一件T恤。我担心的不仅仅是随机化。标准方法 - 由独特用户随机化 - 更好地模仿您的最终设计。
您可以随时运行实验，看看是否使用这两种方法获得了相同的结果，然后再进行更简单的操作。
答案 1 :(得分：0)
你不能。
让50件T恤有纽扣A，其余50件有纽扣B.经过测试，你会发现带有纽扣A的T恤有更好的转换率。
现在 - 由于按钮A，转换效果更好，还是更好，因为T恤设计非常酷，人们喜欢它们？
您无法客观地回答这个问题，因此您无法以这种方式进行A / B测试。
答案 2 :(得分：0)
你的方法的麻烦在于你正在同时测试两件事。
说，设计x正在使用按钮a。设计y使用按钮b。设计y获得更多销售和更多转换。
这是因为按钮b提供的转换率比按钮a更好，还是因为设计y提供的转换率比设计x更好？
如果您的设计数量非常高，您的用户数量非常低，并且您的转换在您的设计中均匀分配，我可以看到您的方法比正常时尚更好 - 因为“好”的风险设计聚集在一起并且倾斜你的结果将小于“好”用户所做的风险。但是，在这种情况下，您将无法获得特别大的转换样本量来得出结论 - 您需要足够大量的用户进行AB测试，这是值得的。
答案 3 :(得分：0)
不是更改某些页面的销售按钮，而是使用按钮A运行所有页面一周，然后再更改为按钮B一周。这应该可以为您提供足够的数据，以确定两个按钮之间的销售数量是否会发生显着变化。
一周应足够短，不应适用季节/天气影响。