今天发布了新的GAE traffic splitting功能,其中一个用途是用于多变量测试。这似乎意味着您必须构建和部署应用程序的多个版本,每个版本对应一个测试变体,这意味着您已经分支了版本控制系统(每个测试一个分支)。这似乎是管理测试的低效方法。它似乎也不包括用于管理测试的任何类型的框架,不像Google's Website Optimizer,其中包括用于管理多个测试的用户界面,还包括所有统计信息收集和分析工具。
是否有人考虑过使用新的流量分割功能进行多变量测试?为什么在网站优化工具上使用它?您将如何设置流量分割测试 - 您是否可以分支您的版本控制系统并编写自己的基础架构来测量和分析测试?或者不是编写自己的代码,是否有一个多变量测试库可以很好地用于此目的?
答案 0 :(得分:1)
您选择已部署应用程序版本之间的流量拆分,而不一定是版本控制中的不同修订版本。如果有的话,每个版本中的代码不必非常不同。在java中,您可以在appengine-web.xml中定义版本。
比如说,您想要运行一个简单的A-B测试来比较您的网站版本与广告,而没有。您可能正在寻找对跳出率,加载时间,广告效果等的影响。在您的代码中,您可以将广告显示代码包含在代码块中,其中包含以下标志:
if (ADS_ON) {
// display ad...
}
您将应用程序版本设置为“ads-on”并将ADS_ON设置为true并进行部署。然后,您可以将应用程序版本设置为“ads-off”,并将ADS_ON设置为false并重新部署。
现在我输入了它,是的,我同意它有点笨拙,但这个新功能仍然允许你做你以前无法做的事情。您将能够查看每个版本的appengine仪表板,并比较它们消耗资源的方式。
如果你想测试两个完全不同的实现的运行成本,那么在你的版本控制中有两个分支是有意义的。