通常在产品可用性测试之后，我们能收集到诸多的定量数据，比如：任务正确率、求助次数、任务完成时间和用户主观满意度等方面的数据，并能通过任务完成中的观察和测试之后与参加者的交流获得一些定性数据(如可用性问题和优点)，进而通过对这些数据的统计分析获知被测产品的总体可用性状况。但是由于这些度量指标具有不同的属性，对其所进行的简单统计分析就不足以形成对产品可用性的一个可衡量的标准。层次分析的模糊综合评价方法(AHP)为我们处理这些评价数据提供了一种可用的量化统计方式，从而获得用户体验质量的综合性评判。但与灰色关联分析不同：灰色关联分析更侧重于对产品设计的多个方案或者时间版本进行比较分析，其方法是建立在比较的基础之上，而层次分析的综合评价方法则可以对单个产品或设计方案的可用性进行衡量和量化。

     当被评事物的属性不明确时，我们根据模糊隶属度函数把被评事物的相关因素合理量化，使模糊环境中的评价在综合性及合理性方面得以保证。并通过层次分析确定被评价因素的权重。结合对总结性测试在这两方面的凋整，进而建立模糊综合评估的模型，对产品的体验质量进行衡量。

    层次分析的综合评价方法基本思路是：首先确立评价指标体系,设定评价集并确立评价因素的隶属度函数；然后通过层次分析确定评价因素的权重；对产品的体验质量进行综合评判。

    1. 如何确定评价集和隶属度函数：

    首先需要确定针对各个指标的评价集V=｛v1,v2,・・・vn｝及评价因素在V上的隶属度函数,一般采用梯形分布以及半梯形分布来构造隶属度函数，以符合用户体验质量渐变连续的特点，把指标的评价标准分为5个等级(很差，差，一般，好，很好)，即定义用户体验质量的等级。假设A为指标在评价集V上的模糊子集，那么隶属度函数如下：

    以上函数中v为从用户测试中获得的相关指标的可用性结果数据；v1、v2、v3、v4、v5、v6为各个评价标准等级的阈值，针对任务完成率等，阈值分别是0、0.3、0.6、0.8、0.95、1,而针对问卷评分，阈值分别为1、2、3.5、5.5、6.5、7;而 c1、c2、c3、c4、c5分别为区间 (v1， v2)、(v2， v3)、(v3， v4)、(v4， v5)、(v5， v6)的中值。

    举个例子：

    假设经过测试，某位用户的任务完成率为0.955，那么将该用户的任务完成率作为v代入上述的隶属度函数中，取 v1、v2、v3、v4、v5、v6为0、0.3、0.6、0.8、0.95、1， c1、c2、c3、c4、c5为0.15、0.45、0.7、0.875、0.975,则可以得到该用户的任务完成率的模糊子集｛A1、A2、A3、A4、A5｝为｛0、0、0、0.8、1｝。然后将测试的所有用户的任务完成率模糊子集进行合并则可以得出任务完成率的模糊矩阵。

    一点小说明：

    针对任务完成时间、操作路径长度等这样一些指标，为了确定相对统一的阈值，需要进行转换，转换的公式为：

    ，其中x’为转换后的数值，x为转换前的数值，E为针对该指标的期望值，或者说产品预期达到的数值。经过转换后，这些指标的阈值统一为 ｛v1、v2、v3、v4、v5、v6｝＝｛0、0.3、0.6、0.8、0.95｝。

    2. 如何确定评价因素的权重：

    评价因素的权重需针对具体的指标体系来进行设置，假设当前的一级评价指标包含了n个因素，那么这n个因素两两进行对比，可得到评价因素的权重矩阵A：

    aij表示因素Ai相对于因素Aj的重要程度比，符合：①aij＝1(i＝j)；②aji＝1／aij；③aij通过saaty的1－9比率标度法确定，具体如下：

    判断矩阵的权重值wi可根据和积法来进行计算，计算方法为：

    我们可以采用一致性比率CR对判断矩阵的一致性进行检验，CR的定义如下：

    其中λmax是判断矩阵的最大特征值 ，RI是已知的平均一致性指标，判断矩阵阶数为2和3时，RI的值分别为0和0.58。当CR小于等于0.1 时，判断矩阵具有良好的一致性，否则需要对判断矩阵进行重新调整。

    举个例子：

    假设我们的整个评价体系里包含一个对产品交互数据的评价，而交互数据中包含了有效和效率两个指标，那么为了获取针对交互数据这一评价因素的权重，我们首先需要请产品专家和可用性工程师对交互数据的两个评价指标按照1－9比率标度法进行两两比较，如果最后评价的结果为”有效”这个因素和”效率”这个因素比较在同等重要和稍微重要一点之间，即”有效”对比”效率”的评价结果为2，那么根据层次分析确定关于交互数据这一评价因素的权重矩阵可以得到以下结果：

    当然，我们的整个产品评价体系不可能只有交互数据一个评价因素，如果整个评价体系建立如下：

    那么我们需要按照上述方法再依次对用户满意度和观察者评估的评价因素权重进行计算，最后可以得到用户满意度、观察者评估以及总的用户体验质量评估的权重矩阵。

    至此，用户评价集和评价因素权重都已确定，我们要做的就是对这两部分的结果进行综合即可得到最终的体验质量的总体评价结果。

    3. 如何进行多层模糊评价：

    首先我们需要对在第一步中已获得的用户评价隶属度矩阵进行归一化处理：先对每位用户数据的隶属度数据进行合计，得到针对每个评价指标，用户在各个评价等级下数据的累加值Cj(j＝1，2，3，4，5)；对Cj进行归一化处理，具体方法如下：

    以任务完成率(有效性指标)为例，假设的用户任务完成率、隶属各个等级的数据以及通过归一化处理后的数据如下表(表中数据均为假设数据)

    用同样方法获得所有一级指标的归一化rj之后，可以确定一级模糊评判矩阵。假设针对任务完成时间(效率指标)，其归一化rj为｛0.227, 0.163, 0.253, 0.073, 0.284}，那么交互数据(包括有效和效率两个指标)的一级模糊评判矩阵即为：

    此时，可以对评价因素的权重和一级模糊评判矩阵进行合成，得到一级指标综合评判的结果，采用的合成算子为：

    bj计算完成后，得到针对一级指标(比如交互数据)的综合评判结果：B1＝(b1 b2 b3 b4 b5)，用以上的假设数据进行计算得到的结果为 B1＝(0.076 0.054 0.084 0.272 0.514)。同样的方法对用户满意度和观察者评价的假设数据进行计算，得到用户满意度的B2＝(0 0.007 0.320 0.546 0.126)，观察者评价的B3＝(0 0 0.264 0.577 0.159)。

    将一级指标的综合评判结果作为二级评判时的模糊矩阵，获得产品综合的用户体验质量的模糊评判矩阵：

    通过将用户体验质量总体的评价因素权重和二级模糊评判矩阵进行合成(合成算子同上)，得到用户体验质量的综合评判结果 B＝(0.031 0.025 0.209 0.441 0.294)。

    对评价集作相应的等级赋值后(很好95，好82，一般67，差50，很差31)，即可得到直观的百分制评价结果。相应的转换公式为：

    用假设数据 B＝(0.031 0.025 0.209 0.441 0.294)代入后，a＝83.22处于良好等级。

    对于总体用户质量的百分制评价转换方法也适用于各个一级指标体系，比如：交互数据、用户满意度等，从而进一步发现其中产品的体验质量究竟在哪个部分发生问题。

建议继续学习：

1. 神探tcpdump第二招    (阅读：4522)
2. 产品用户体验质量的模糊评价（1）――灰色关联分析    (阅读：1161)