我正在寻找一种数学算法来证明多变量测试中的重要性。
E.g。让网站测试有3个标题，2个图像，2个按钮测试。这导致3 x 2 x 2 = 12变化：
h1-i1-b1, h2-i1-b1, h3-i1-b1,
h1-i2-b1, h2-i2-b1, h3-i2-b1,
h1-i1-b2, h2-i1-b2, h3-i1-b2,
h1-i2-b2, h2-i2-b2, h3-i2-b2.
假设是一种变异比其他变异更好。
我想知道其中一个变种是赢家和我需要等多久，我可以肯定我在统计上有一个胜利者或至少有一个指标我有多确定我可以成为一个变种是赢家。
所以基本上我想得到每个变化的可能性，告诉我是不是赢家。随着测试运行时间的延长，一些变化的概率下降，获胜者也会增加。
您会使用哪种算法？什么是公式？
是否有任何libs？
答案 0 :(得分：0)
您可以使用chi-square test。你的零假设是所有结果都是同等可能的;当你插入12个结果中每个结果的测量计数时，你会得到一个数字，告诉你将一组12个计数作为极端（即远离平均分布）的概率。如果概率足够小（通常<5％或<1％），则可以得出结论：零假设是错误的。