这是一本指导性质的书，而不是一本理论专著。作者主要就实际中的应用提高一些建议，比如：在什么情境下收集哪种可用性度量、如何收集这些度量、如果使用不同的分析方法对数据进行梳理、以及如何以一种最清晰又最吸引人的方式呈现结果介绍。

Thomas S. (Tom) Tullis，富达投资(Fidelity Investments)用户体验部的高级副总裁
Bill Albert，富达投资用户体验主管

“如果Tom和Bill可以使我（也许是世界范围内，定量测试的最大热衷者）相信可用性度量（usability metrics）真的很有价值（正如本书中所介绍的）；那么勿庸置疑他们也将会使你相信这一点。我喜欢翻阅这本书，因为读书的过程犹如和一位睿智、富有经验和表达力的专业人员在交流。他们会告诉你所有最有用的可用性度量，对每个度量都给予赞成或反对的理由，进而揭示出经过多年实践之后这些度量真实的使用情况。本书相当有价值！”
—— Steve Krug，《点石成金：访客至上的网页设计秘笈》的作者。
“这本书非常出色，提供了在不改变预算的情况下收集可用性度量的各种方法。如果你准备进一步提升你的用户体验工作的专业水平，Tullis和Albert在这本书中与你慷慨地分享了他们的丰富经验。强烈推荐！”
—— Jakob Nielsen, Nielsen Norman Group负责人，《Usability Engineering》和《Eyetracking Web Usability》的作者。
“如果你准备做任何类型的可用性测试，你都用得上这本书。作者以一种常规性的方法对可用性度量的使用提供了清晰而又综合的指导。”
—— Ginny Redish，Redish和Associates公司总裁，《胜于言传——网站内容制胜宝典》的作者。
有效地测量任何产品的可用性都需要选择和使用正确的度量，并要有效地利用它所揭示出来的信息。本书首次介绍了相关实用资料，可以使可用性从业人员和产品开发人员完成这种测量。作者把几十个种度量整理成六类：绩效、基于问题的、自我报告式的、Web导航、综合性的/派生的，以及生理/行为的。他们对每一种度量都进行了考察，并认真考虑了收集、分析和呈现这些数据的最佳方法。他们对使用任何技术来测量任何类型产品的可用性都提供了步进式指导。

介绍了针对测试案例选择最佳度量的标准。
采取产品和技术中立的方法。
提供深度案例研究，来说明组织如何成功使用本书所介绍的度量及相关信息。

用户体验（User Experience，UX）指的是用户与产品、设备或系统交互时所涉及的所有内容。很多人似乎都认为用户体验是一些不可测量和量化的特性。我们认为这是可以的。可用性度量（usability metrics）就是可以用来测量用户体验的工具，比如以下这些情况：
用户在旅行网站上预定一个航班需要多长时间？
用户在登录系统时犯了多少错误？
有多少用户可以成功地使用他们的数字录像机去录制他们所喜爱的所有电视节目？
有多少用户没有先选择要去往的楼层就进了一个新的“直达终点”的电梯，然后才发现里面没有楼层选择面板？
有多少用户没有注意到页面上的链接（只要点击1次，就可以让用户完成他们所需要的事情）？
有多少用户在注册新MP3播放器时由于看不清楚背面上很小的序列号而沮丧？
有多少用户在没有文字说明的情况下能够很轻易地把他们新书架组装起来并因此感觉愉悦？
这些例子都是可以测量的行为和态度。其中一些可能比其他的要容易测量，但它们都是可以测量的。任务成功率、任务时间、鼠标点击或键盘的次数、挫折或愉悦感的自我报告式评分，甚至注意网页上某个链接的注视点个数，都是可用性度量的例子。这些度量可以使你给用户体验带来非常有价值的见解。
为什么需要测量用户体验？答案是这有助于提高用户体验。对于今天的多数消费类产品或网站来说，如果你不提高，就会落后。可用性度量可以帮助你确定你相对于竞争对手所处的位置，也可以帮助你准确定位以集中力量对需要提高的地方进行改进（即用户发现最为困惑、低效或受挫的领域）。
这是一本指导性质的书，而不是一本理论专著。我们主要就实际中的应用提出一些建议，比如：在什么情境下收集哪种可用性度量、如何收集这些度量、如何使用不同的分析方法对数据进行梳理，以及如何以一种最清晰又最有吸引人的方式呈现结果。我们也将会与你分享实践中的一些教训，这些教训源于我们在该领域内40多年经验的总结。
本书适合对提高产品用户体验感兴趣的任何人，无论这些产品是消费类产品、计算机系统、应用程序、网站或者其他类型的物品。如果是供人使用的产品，那么你可以测量与使用该产品有关的用户体验。那些关注如何提高用户体验的人和其他可以从本书获益的人，都来自于许多不同的专业，并具有不同的视角，包括可用性和用户体验（UX）专业人员、交互设计师、信息架构师、产品设计师、Web设计师和开发者、软件开发人员、图形设计师、销售和市场研究从业人员以及项目和产品管理人员。
我们希望你可以发现这本书在探求如何提高产品的用户体验等方面对你有帮助。我们很想听到你的成功和失败。你可以通过网站与我们取得联系：www.MeasuringUserExper-ience.com。在那里，你也可以找到一些补充性材料，如本书多数例子中所提到的实际电子数据表格和图形以及可以帮助你测量用户体验的相关工具等方面的信息。

* * *

本书中所介绍的材料、例子和案例研究只是用来对相关信息进行说明和解释。出版商和作者不保证这些数据的合适性，也不提供基于任何特定目的的商业保证，以及不承担任何与这些材料、例子和案例研究相关的责任。
本书中所表达的观点只是作者的看法，不代表其雇主或出版商的立场和看法。

封底
用户体验测量
——如何收集、分析和呈现可用性度量
Thomas S. (Tom) Tullis，是富达投资（Fidelity Investments）用户体验部的高级副总裁
Bill Albert，富达投资用户体验主管

“如果Tom和Bill可以使我（全世界范围内，定量测试的最大热衷者）相信可用性度量（usability

metrics）真地很有价值（正如本书中所介绍的），那么勿庸置疑他们也将会使你相信。我喜欢翻

阅这本书，因为这确实是像与一位非常聪颖、经验非常丰富及表达非常清晰的从业者在对话。

他们会告诉你所有最为有用的可用性度量，对每个度量都给予赞成或反对的理由，进而揭示出

经过多年实际经验之后这些度量真实被使用的情况。本书相当有价值！”
－Steve Krug，Don’t Make Me Think: A Common Sense Approach to Web Usability一书的作者。

“这本书非常出色，提供了在不改变预算的情况下收集可用性度量的不少方法。如果你准备使你

的用户体验职业生涯更加专业，Tullis和Albert在这本书中与你慷慨地分享了他们的丰富经验。强

烈推荐！”
－Jakob Nielsen, Nielsen Norman Group负责人，Usability Engineering和Eyetracking Web Usability的作者。

“如果你准备做任何类型的可用性测试，你都用得上这本书。Tullis和Albert以一种常规性的方法对

可用性度量的使用提供了清新而又综合的指导。”
－Ginny Redish，Redish和Associates公司总裁，Letting Go of the Words的作者。


有效地测量任何产品的可用性都需要选择和使用正确的度量，并要有效地利用它所揭示出来的

信息。《测量用户体验》首次介绍了相关实用资料，可以使可用性从业人员和产品开发人员完

成这种测量。作者Tullis和Albert把几十个种度量整理成六类：绩效、基于问题的、自我报告式的

、Web导航、综合性的/派生的以及生理/行为的。他们对一种度量都进行了探察，并精心考虑了

收集、分析和呈现这些数据的最佳方法。他们对使用任何技术测量任何类型产品可用性都提供

了步进式指导。

特色
介绍了针对测试案例选择最佳度量的标准
采取产品和技术中立的方法
提供深度案例研究，以说明组织如何成功使用这些他们所介绍的度量及相关信息

Thomas Tullis; William Albert：暂无简介

周荣刚：暂无简介

当前，如何提升产品的可用性（Usability）逐渐受到系统设计人员越来越多的重视，其目标就是使用户在使用系统过程中获得良好的体验（User Experience）、竭力避免给用户在使用上带来困难。但是如何保证某个产品或服务能让用户获得良好的使用体验呢？通常这就需要采用“以用户为中心的设计（User-Centered Design, UCD）”，即：在产品开发之前洞悉用户及其需求并据此进行产品原型的设计，进而进行评估，并通过对评估数据的分析进行迭代式设计直至达到可用性目标。可以说，在产品整个生命周期中，都会涉及对用户体验的评估。然而，用户体验等概念本身具有强烈的模糊性，反映的多是用户认知、操作和主观感受等层面的体验。这就注定对用户体验的测量离不开经验型的评估方法。用户体验测量的方法源于实验心理学和工程心理学，通常的做法是邀请一定数量的真实或潜在用户使用产品完成一些典型的任务，由可用性工程师（Usability Engineer）收集诸如任务正确率、求助次数、任务完成时间和用户主观满意度等方面的定量数据，同时也会通过任务完成中的观察和测试之后与参加者的交流获得定性数据（如可用性问题和优点），进而通过对这些数据的统计分析获知产品设计中存在的问题、改进的方向或者总体上用户的体验情况。同时在很大程度上，也正是因为用户体验测量的方法多是经验型的方法，不同的人使用起来差异较大、起到的效果也有不同。
所以很欣喜看到作者对这一问题进行了梳理，他们就用户体验测量方法中的方方面面进行了说明和解释，这可以帮助从业人员更加规范地进行测量用户体验。本书作者都受过严格的心理学和人因学训练，具有丰富的实践经验，他们的这本书主要有这样几个特色：（1）内容详尽，他们分别对如何进行操作绩效测量、如何界定和分析测量中发现的用户体验问题、以及如何在测量中使用满意度量表进行了全面且深入的介绍，同时对诸如“如何综合多种度量指标给出总体性评价”、“卡片分类”和“投资回报率”的计算等也做了专题性整理；
（2）为数据收集、分析和呈现提供了适当的理论基础，比如他们会告诉你如何使数据更为信服等；（3）操作性强，这是一本面向用户体验从业人员的书，作者提供了大量可读性很强的解释性样例和案例研究。
最近几年，可用性工程或用户体验专业在国内才开始受到较为普遍的关注，而用户体验测量的方法（如可用性测试，Usability Testing）被视为最有价值的可用性评估方法。把这本书介绍给国内同行，我们觉得还是很有意义的。这本书由多位译者共同完成，其中：周荣刚（北京航空航天大学）翻译了作者介绍、前言、第1章、第4章、第10章第6个案例研究和第11章；秦宪刚博士（中国移动研究院）翻译了第5章和第9章；徐毅斐（中国移动研究院）翻译了第3章和第10章第2个案例研究；郝学芹博士（空军第四医学研究所）翻译了第6章；陈楠（诺基亚）翻译了第10章第3和第4个案例研究；薛立成同学（中科院心理所在读硕士）翻译了第2章；李晶同学（中科院心理所在读博士）翻译了第10章第1和第5个案例；何吉波同学（美国伊利诺伊大学在读博士）翻译了第7章；第8章由薛立成和周荣刚翻译。周荣刚对全书译文进行了校正和统稿，并撰写了译者序。全部译者中有8位都受过工程心理学的研究训练。翻译本书的过程，也是我们学习的过程，任何不妥之处请读者多指正，Zhouronggang @ gmail.com。

周荣刚
2009年7月于北京

译者序
作者简介
前言
致谢
第1章　 引言 1
1.1　 本书架构 2
1.2　　什么是可用性 3
1.3　可用性为什么重要 4
1.4　什么是可用性度量 6
1.5　可用性度量的价值 8
1.6　十个关于可用性度量的常见误解 9
第2章　背景知识 13
2.1　设计可用性研究 13
2.1.1　选择参加者 13
2.1.2　样本大小 14
2.1.3　组内或组间研究 15
2.1.4　平衡 16
2.1.5　自变量和因变量 17
2.2　数据类型 17
2.2.1　称名数据 18
2.2.2　顺序数据 18
2.2.3　等距数据 19
2.2.4　比率数据 19
2.3　度量和数据 20
2.4　描述统计 20
2.4.1　集中趋势的测量 21
2.4.2　变异性的测量 22
2.4.3　置信区间 23
2.5　比较平均数 23
2.5.1　独立样本 24
2.5.2　配对样本 25
2.5.3　比较两个以上的样本 25
2.6　变量之间的关系 26
2.7　非参数检验 28
2.8　图形化呈现数据 29
2.8.1　柱状图或条形图 30
2.8.2　折线图 32
2.8.3　散点图 34
2.8.4　饼图 35
2.8.5　堆积条形图 36
2.9　小结 37
第3章　规划可用性研究 38
3.1　研究目标 38
3.1.1　形成式可用性 38
3.1.2　总结式可用性 39
3.2　用户目标 39
3.2.1　绩效 40
3.2.2　满意度 40
3.3　选择正确的度量：
十种可用性研究 40
3.3.1　完成一次业务 41
3.3.2　比较产品 42
3.3.3　评估同一种产品的频繁使用 42
3.3.4　评估导航和（或）信息架构 42
3.3.5　提高知晓度 43
3.3.6　问题发现 44
3.3.7　使要害产品的可用性最大化 44
3.3.8　创造正面的用户体验 45
3.3.9　评估微小改动的影响 45
3.3.10　比较替代性的设计 46
3.4　其他研究细节 46
3.4.1　预算和时间表 46
3.4.2　评估方法 47
3.4.3　参加者 49
3.4.4　数据收集 50
3.4.5　数据整理 50
3.5　小结 51
第4章　绩效度量 53
4.1　任务成功 54
4.1.1　收集任一类型的成功度量 55
4.1.2　二分式成功 55
4.1.3　成功等级 59
4.1.4　测量任务成功中的问题 61
4.2　任务时间 62
4.2.1　测量任务时间的重要性 62
4.2.2　如何收集和测量任务时间 63
4.2.3　分析和呈现任务时间数据 65
4.2.4　使用时间数据时需要考虑的问题 67
4.3　错误 68
4.3.1　何时测量错误 68
4.3.2　什么构成了错误 69
4.3.3　收集和测量错误 70
4.3.4　分析和呈现错误 71
4.3.5　使用错误度量时需要考虑的问题 73
4.4　效率 73
4.4.1　收集和测量效率 74
4.4.2　分析和呈现效率数据 74
4.4.3　结合任务成功和任务时间的效率 76
4.5　易学性 78
4.5.1　收集和测量易学性数据 78
4.5.2　分析和报告易学性数据 79
4.5.3　测量易学性时需要考虑的问题 80
4.6　小结 81
第5章　基于问题的度量 82
5.1　发现可用性问题 82
5.2　什么是可用性问题 83
5.3　如何发现可用性问题 84
5.3.1　面对面研究 85
5.3.2　自动式研究 86
5.3.3　问题的出现和结束 86
5.3.4　精细程度 86
5.3.5　需要多个观察者 87
5.4　严重性等级评估 87
5.4.1　基于用户体验的严重性等级评估 88
5.4.2　综合多种因素的严重性等级评估 88
5.4.3　严重性等级评估系统的应用 89
5.4.4　有关严重性等级评估的忠告 90
5.5　分析和报告可用性问题
相关的度量 90
5.5.1　独特问题的频次 91
5.5.2　每个参加者遇到的问题频次 92
5.5.3　参加者的频次 93
5.5.4　问题归类 94
5.5.5　按任务区分问题 94
5.5.6　报告正面的问题 95
5.6　发现可用性问题时的一致性 95
5.7　发现可用性问题时的偏差 96
5.8　参加者数量 98
5.8.1　五个参加者足矣 98
5.8.2　五个参加者不够 99
5.8.3　我们的建议 99
5.9　小结 101
第6章　自我报告式的度量 102
6.1　自我报告数据的重要性 102
6.2　收集自我报告的数据 103
6.2.1　Likert量表 103
6.2.2　语义差异量表 103
6.2.3　什么时候收集自我报告数据 104
6.2.4　如何搜集自我报告数据 104
6.2.5　收集自我报告数据中的偏差 105
6.2.6　评分量表的一般指导原则 105
6.2.7　分析自我报告数据 106
6.3　任务后评分 107
6.3.1　易用性 107
6.3.2　情景后问卷 107
6.3.3　期望测量 108
6.3.4　可用性数量估计 109
6.3.5　任务后自我报告度量的比较 110
6.4　测试后评分 113
6.4.1　合并单个任务的评分 113
6.4.2　系统可用性量表 113
6.4.3　计算机系统可用性问卷 114
6.4.4　用户界面满意度问卷 115
6.4.5　有效性、满意度和
易用性的问卷 117
6.4.6　生成反应卡 118
6.4.7　测试后自我报告度量的比较 119
6.5　用SUS比较各种设计 121
6.5.1　比较“老年人友好”网站 121
6.5.2　比较Windows ME和Windows XP 121
6.5.3　纸质选票的比较 122
6.6　在线服务 124
6.6.1　网站分析和测量问卷 124
6.6.2　美国客户满意度指数 124
6.6.3　OpinionLab 128
6.6.4　在线网站调查的问题 129
6.7　其他类型的自我报告度量 130
6.7.1　评估具体的属性 130
6.7.2　评估具体的元素 133
6.7.3　开放式问题 135
6.7.4　知晓度和理解 135
6.7.5　知晓度和有用度差距 136
6.8　小结 136
第7章　行为和生理度量 138
7.1　观察和编码外显的行为 138
7.1.1　言语行为 139
7.1.2　非言语行为 141
7.2　需要仪器才能捕获的行为 141
7.2.1　面部表情 141
7.2.2　视线跟踪 144
7.2.3　瞳孔反应 148
7.2.4　皮肤电反应和心率 150
7.2.5　其他测量方法 152
7.3　小结 154
第8章　合并和比较度量 156
8.1　单一可用性分数 156
8.1.1　根据预定目标合并度量 156
8.1.2　根据百分比合并度量 157
8.1.3　根据z分数合并数据 161
8.1.4　使用SUM：单一可用性度量 163
8.2　可用性记分卡 165
8.3　与目标和专家绩效比较 167
8.3.1　与目标比较 167
8.3.2　与专家绩效比较 168
8.4　小结 169
第9章　专题 171
9.1　在线网站数据 171
9.1.1　服务器端的日志 171
9.1.2　点击率 172
9.1.3　弃用率 174
9.1.4　A/B研究 175
9.2　卡片分类数据 176
9.2.1　开放式卡片分类数据的分析 177
9.2.2　封闭式卡片分类数据的分析 181
9.3　可达性数据 183
9.4　投资回报率数据 186
9.5　六西格玛 188
9.6　小结 190
第10章　案例研究 192
10.1　如何又快又省地对网站
进行再设计 192
10.1.1　阶段1：对竞争对手的网站
进行可用性测试 192
10.1.2　阶段2：对三种不同的设计
概念进行测试 194
10.1.3　阶段3：对单独的设计
方案进行测试 197
10.1.4　总结 198
10.1.5　个人简介 198
10.2　语音识别的IVR系统的
可用性评估 198
10.2.1　方法 198
10.2.2　结果：基于任务的测量 199
10.2.3　PSSUQ 199
10.2.4　用户评论 200
10.2.5　可用性问题 200
10.2.6　样本量的合适性 201
10.2.7　基于用户行为和评价的建议 202
10.2.8　讨论 203
10.2.9　作者简介 203
10.2.10　参考文献 203
10.3　CDC.gov网站的再设计 203
10.3.1　可用性测试级别 204
10.3.2　基线测试 205
10.3.3　任务场景 206
10.3.4　定性分析的发现 206
10.3.5　绘制线框图与首次点击测试 207
10.3.6　最终原型测试 209
10.3.7　结论 211
10.3.8　个人简介 212
10.3.9　参考文献 212
10.4　可用性基准化：手机
音乐和视频 212
10.4.1　项目目标和方法 213
10.4.2　定性和定量数据 213
10.4.3　研究范围 213
10.4.4　对比分析 213
10.4.5　调研实施：参加者的数量 214
10.4.6　招募参加者 214
10.4.7　数据收集 215
10.4.8　任务完成时间 215
10.4.9　任务完成与失败 215
10.4.10　尝试次数 215
10.4.11　感知性度量 216
10.4.12　定性发现 216
10.4.13　定量发现 216
10.4.14　总结性发现和SUM度量 217
10.4.15　数据处理及可视化 217
10.4.16　讨论 217
10.4.17　基线调整和后续工作 218
10.4.18　个人简介 218
10.4.19　参考文献 219
10.5　测量“药品标签设计和相似性
对药剂师操作行为的影响” 219
10.5.1　测试参加者 220
10.5.2　仪器与设备 220
10.5.3　实验刺激 221
10.5.4　实验程序 223
10.5.5　数据分析 223
10.5.6　结果和讨论 224
10.5.7　个人简介 227
10.5.8　参考文献 227
10.6　重视度量 227
10.6.1　OneStart：印地安纳大学的
门户网站项目 228
10.6.2　设计和执行研究 229
10.6.3　分析和解释结果 229
10.6.4　分享发现和建议 230
10.6.5　对影响进行反思 231
10.6.6　结论 232
10.6.7　致谢 232
10.6.8　个人简介 232
10.6.9　参考文献 233
第11章　推进 234
11.1　推销可用性和度量的作用 234
11.2　从小事做起，努力慢慢做起来 235
11.3　确保你有时间和经费 236
11.4　早计划，常计划 236
11.5　给你的产品确定基线 237
11.6　挖掘你的数据 238
11.7　说商业性的语言 238
11.8　呈现你的置信程度 239
11.9　不要误用度量 240
11.10　简化你的报告 240
参考文献 242