r00e

如意如意 随我心意

Crowdsourcing

Crowdsourcing,翻译成中文是众包,这并不是一个新的概念了。在wiki上有一些关于他的解释,可以参考这里

不过在测试领域中,算是一个新现象。最近在看《Google软件测试之道》,里面有一篇James Whittaker写的短文,谈了谈对众包的看法,感觉不错,转了过来。以下内容是转发:

James Whittaker: 众包

众包是测试领域的一个新现象,它的产生基于一下事实:测试人员在数量上很少,而且拥有的资源也很有限;但用户则为数众多,而且拥有每一种我们希望用来测试应用的硬件和环境组合。当然会有一部分用户愿意帮帮,对不对?

来看看群众的力量:一部分对测试懂行的高级用户,愿意来帮忙并拿到合理的报酬。他们只需要能访问预发环境并运行被测应用即可,然后通过某种机制提供反馈和bug报告。类似Chromium这样的开源项目,很适合大众测试;而那些更敏感和保密的、只能在内网访问的项目就麻烦一些,必须交给可信的测试人员。

大众用户除了可以带来大量的硬件和配置,还能提供多种不同的视角。以前是一个测试人员想像1000个用户的使用场景,现在是1000个真实用户在做测试的工作。在发现导致应用出错的用户场景方面,还有比邀请用户注册来试用并提交反馈更好的方法吗?关键在于变化性和规模,大众用户两者兼备。

今天,愿意做软件测试的人群数量很大,而且7x24小时可用。假定我们想在新发布的Chrome里测试1000个著名网站,1个测试人员=1000次测试,20个测试人员=50次测。这就是人民群众的力量。

大众测试员的主要弱点是需要一定的时间来学习被测应用,并跟上其更新的步伐。考虑到大众测试员的数量,这意味着惊人的浪费。然而,这仍然世可以管理的。对Chrome,我们编写了产品导览(tours),以供大众测试员参考来开展探索式测试和运行用户场景。这些导览使测试工作变得更加明确,可以直接将用户引导到应用的特定部分。为了合理分工,可以编写多个导览指南,分发给不同的大众用户。

大众测试是Google的金丝雀、开发、测试、dogfood系列测试的一个扩展,是我们与早期用户联系的一种方式。这些用户可以在早期就发现和报告bug。在Google,希望试用产品的内部测试人员、在各个产品组之间按需流动的外包员工,以及商业性的众包公司如uTest.com,他们都曾经参与过Google产品的测试。我们还悬赏奖励最佳bug发现者。