开放测试版与针对webapp的封闭测试版的任何好处/缺点

Question

这不是关于代码的问题，但它与编程有关。我们有一个可以进行beta测试的网络应用程序。有没有人注意到测试者给出的反馈的质量或数量或任何其他因素，开放式测试版与封闭测试版之间有什么区别？

Answer 1

使用封闭测试版，您可以限制用户数量

这可能看起来不是什么大问题，但请考虑一下......

封闭测试版：

• 通过要求用户根据他们希望如何使用该应用程序来撰写提案来选择用户群
• 您向100位用户发布备受期待的应用，第一个月没有额外邀请
• 这些用户定期使用该程序，并挑选出在测试版前QC中出现的大多数常见错误。
• 这些用户感到很荣幸能够使用该应用程序，因此他们向所有人吹嘘他们对它的喜爱程度（大量的免费公关）并且不太倾向于将其丢弃，因为它仍然是'封闭测试版的原因'
• 大多数常见错误在第一个月被识别出来，并且有限数量的邀请被提供给第一组beta测试者以进入beta的第2步
• 或者，应用程序中仍然存在一些噩梦般的错误，并且进一步的邀请被推迟审核，直到下一个发布周期。

公开测试版：

• 您认为自己的应用程序已经足够精致，因此您将其作为公共测试版发布给大众
• 更客观的用户开始查找和报告错误
• 不幸的是，提交的错误数量会使错误跟踪器膨胀，因此发现错误变得非常困难
• 因为很难找到错误，重复项开始弹出，错误跟踪器更加膨胀
• 你花费了大量的精力，试图保持bug跟踪器的清洁，同时还试图修复代码中的错误
• 不太客观的用户给予应用程序一个镜头，发现'并非一切'完美无缺，或以他们期望的方式工作（直观）
• 不那么客观的用户跑到他们的小博客上并开始发帖'OMG WTF srsly，[appName]糟透了[x]和理由[y]和[z]
• 所有小'嗡嗡声博客'都会践踏你的应用程序的名称，因为这让他们觉得'有权'公开咆哮任何/所有内容
• 谷歌索引所有的博客咆哮，因为它们包含许多与您的产品相关的指示性关键字，因此当您在谷歌中输入您的应用名称时出现的前2页通常涉及“[appName]糟透了”的内容”。

“封闭测试版”的最大好处之一是，您可以根据允许的用户数量和允许的用户类型来控制工作量。

你需要一支“客观”用户群来支持你对抗'主观'用户，因为梯子组的生活主要目的是让网络寻找一个应用程序来捣乱垃圾并制造大量耸人听闻的反炒作过度;一切都是为了吸引更多流量到他们的博客。

如果您想要一个非常好的例子来说明如何成功运行封闭式测试版Google。

• 使用gmail，他们有一个严格限制的内测开始
• 他们修复了第一轮beta测试人员发现的任何明显错误
• 发出更多邀请
• 然后他们开始从beta用户那里收集要在其webapp中实现的功能的新想法
• 他们合并功能，同时修复错误
• 他们发出更多邀请
• 继续跟踪功能请求和错误提交
• 当它被充分抛光时，它们会将其释放到公开测试版
• GMail保持公开测试3年

为什么呢？谷歌很聪明。如果一些随机模糊的bug在公开测试版中出现2年，那么任何人都可以真正为它删除谷歌，因为它仍然是“测试版”。这就像谷歌的一点点说法，这很好，但我们并不完全满意。即使他们在测试的最后两年内没有触及代码库，它仍然给人的印象是“他们仍然在完善它”。

这让我想到了为什么要限制测试版的最重要的一点......

创建后，您无法改变人们对您产品的看法

请注意，"How to Ignore Marketing and Become Irrelevant in Two Easy Steps"看看我的意思。这很容易就是我见过的最有趣的演讲之一。

注意：我个人参与了多个“封闭”的测试版。即，GMail，Google Wave，Boxee，Songbird和其他一些。

Answer 2

通过封闭测试，人们通常希望在那里。他们要么耐心等待，要么在注册后获得邀请，要么就在它开始时就已经忘记了。

通过公开测试版，您可以获得更多人，但他们往往是“嘿，这个网站很整洁，我想我会...... OOH SHINY！在一块锡纸后运行 em>“type。