几个用户才够,这个不是问题?
大家都知道那个”神奇的数字5“,因为Nielsen的研究发现,5个用户可以发现80%以上的可用性问题,他是假设平均每个用户可以发现30%的可用性问题,而且假设所有问题都有同等被发现的概率。
过去的研究已经对测试的样本大小进行过不少探讨,例如:
- Benefits of increased sample sizes in usability testing (2003)
- Why you only need to test with 5 users (2000)
- Five users is nowhere near enough (2001)
- Refining the test phase of usability evaluation: How many subjects is enough? (1992)
Lindgaard和Chattratichart(2007)的研究发现,可用性测试的用户数量与被发现的可用性问题比例、被发现的新可用性问题比例均不存在显著的相关关系。但是用户的差异化、任务的个数则与被发现的可用性问题显著相关。(详见下面的PPT)
Lindgaard和Chattratichart说,HCI在过去15年花了较多的时间去探讨用户的数量,而忽略了如何设计可用性测试中的任务
Take-home Message:
- 尽量选取有代表性的用户,而且用户不要太同质化(如果我没记错的话,统计上也是如此,用户内部的差异越大,才容易检测出显著)
- 与用户的个数一样,不是单纯地讨论设置的任务个数,而是要看这些任务所涵盖的范围(这些任务具体涉及到了产品的哪些功能点)。转载一段话:”如果产品处在设计的初期,我们需要关注一些宏大的问题(如:网站的整体架构、导航和分类的合理性、页面的逻辑关系),此时就需要通过宽泛而有弹性的任务,来查找宏观层面的问题。如果产品的设计已经非常完善,开始进行细节的修改迭代,此时就需要通过设置相对具体的任务来查找特定的细节问题(如:对某个命名的理解、按钮的使用、链接的点击、表单的填写)。“ (摘自网易用研)
Usability testing:what have we overlooked
参考文献:
Lindgaard, G., & Chattratichart, J. (2007). Usability testing: what have we overlooked? Proceedings of the SIGCHI Conference on Human factors in Computing Systems, 1415-1424. [PDF下载]

