如何A / B测试整个网站设计

Question

我们正在建立一个新的网站设计，而不是100％切换到它，我们想要放宽它，以便我们可以随时测试。目标是让访问http://oursite.com的用户获得＆＃34; old＆＃34;网站或新网站，我们可以控制谁获得新网站的百分比10％，50％等。

我熟悉页面的A / B测试，但不熟悉整个网站域名。我们在LAMP堆栈上，所以也许这可以用Apache VHosts完成？我们有2台云服务器在生产中的云负载均衡器后面运行。新站点完全包含在svn分支中，当前生产站点用完了svn trunk。

关于如何解决此问题的任何建议？

谢谢！

Answer 1

你绝对可以做到这一点，这是快速识别在提高转换率方面有重大影响的好方法。这取决于几件事：

1. 您的网站有一个共同的标题。您将成为A / B测试CSS文件，因此只有在整个站点（或站点部分）有一个CSS调用时才能使用。
2. 您只测试网站设计的差异。在这种情况下，版本之间的所有内容，表单，号召性用语等都是相同的。技术上可以同时对其他页面元素运行单独的测试。我不建议这样做，因为对结果的解释会让人感到困惑。
3. 您选择的A / B测试平台支持在访问期间向访问者显示相同的版本。每当他们访问另一个页面时，看到网站的主题发生变化将会非常令人沮丧。我使用的大多数A / B测试平台都有这个选项。

由于您正在测试版本之间的实质差异，我还建议您在开始之前计算样本量。这将使您不会向太多人显示丢失的版本，并且它还会让您对结果充满信心（让测试运行直至达到统计显着性为mistake）。您可以使用几种在线计算器（VisualWebsiteOptimizer，Evan Miller）。