用户体验监控体系的闭环：采集、分析、治理、验证

编辑导语：在上一篇文章《如何构建用户体验监控体系》中，阐述了构建用户体验监控模型；在产品上线后，要进行用户侧的体验数据监测，避免一些Bug的出现对用户造成影响；本文作者详细分析了用户体验监控体系的闭环，我们一起来看一下。

本文将围绕用户端侧的异常，以闭环的思路构建一套互联网产品的用户体验监控体系；通过对用户在使用产品过程中遭遇的痛点、痒点进行异常的采集、分析、治理和验证，达到量化产品用户体验、以数据驱动产品决策的目的，从而为用户创造极致的产品体验。

当用户使用互联网产品时，不可避免会遭遇一些异常或者bug，例如App卡顿、崩溃，或者加入购物车失败、视频播放失败、支付失败等等，这些异常或多或少会对用户的产品体验造成影响；如果是大规模的用户遭遇相似异常，那么这个产品的用户体验亟待提升。

一、监控用户体验是提升产品能力的必要条件

产品上线后，如果无法感知产品在所有用户端侧的运行情况，就不能及时获取产品的用户体验是好还是差；全面掌握产品的真实用户体验、精准提升产品体验也就无从谈起。

针对这种情况，就需要通过技术的手段去解决；将用户在端侧的体验数据实时监测并采集上报，后台通过分析数据，引导产品的体验治理策略；并通过对比治理前后的数据以验证治理效果，从而达成用户体验监控体系的闭环。

二、用户体验监控体系的闭环

1. 采集

指的是采集用户在使用产品过程中，遭遇的一切体验问题。可以分为两个维度：终端、体验问题。

1）终端

针对不同的终端所使用的采集方式不同，主要分为3种类型：移动端、浏览器端、小程序端。

移动端主要包括Android App、iOS App等等，通过嵌入SDK的方式，从而将用户的异常数据通过日志的方式进行上报，以实现采集的目的。

浏览器端主要包括PC web、WAP、App内嵌H5等等。

小程序端主要包括微信小程序、支付宝小程序、百度小程序、今日头条小程序等等；两种终端均通过引入异常JS探针的方式，从而将用户的异常数据通过日志的方式进行上报，以实现采集的目的。

2）体验问题

体验问题也包括两类：系统性能异常、业务状态异常。

系统性能异常指的是导致系统不能运行或者不能稳定运行、性能、吞吐量、网络等产生的异常信息；该类异常由系统技术原因导致，例如：HTTP状态异常、HTTP延时异常、Ajax状态异常、Ajax延时异常、慢Ajax异常、ANR异常、页面卡顿异常、JS异常、慢页面异常等等。

业务状态异常主要指的是系统在稳定运行并且各项系统指标均为健康的情况下，由于业务方面的问题（缺货，业务指标计算错误等等）而导致的异常；例如：无货、暂不销售、加入购物车失败、提交订单失败、支付失败、搜索无结果、接口调用失败、页面刷新无数据、保存失败等等。

2. 分析

当端侧异常数据采集并上报后，就可以对其进行分析，结合现阶段业务目标，得出体验问题的轻重缓急。

1）结构化数据

处理后的数据分为四种结构化数据：用户信息、行为信息、异常信息、设备信息。

• 用户信息包括会员账号、会员等级、会员标签、运营商、网络、地理位置等等；
• 行为信息包括页面名称、页面进入时间、页面离开时间、行为名称、行为发生时间、行为对象、其他行为信息等等；
• 异常信息包括异常编码、异常名称、异常等级、异常类型、异常类别、异常文案、异常详情、研发中心、产品、产品线、页面、服务时间、服务域名、服务请求码、原始URL、来源、链路ID、发生场景、发生时间等等；
• 设备信息包括终端类型、设备型号、设备OS、设备ID、设备厂商、浏览器类型、浏览器版本、App版本、App渠道、IP地址等等。

2）分析维度

对于不同的团队，其业务目标是不一样的。

例如：对于运营团队，其目标是提升流量、转化等指标；对于研发团队，其目标是提升产品的稳定性、可用性；对于体验团队，其目标是提升产品的易用性；对于决策管理团队，其目标是确保决策的正确和可执行。

根据不同团队成员的诉求，提供恰当的分析角度，可以分为横向和纵向：

• 横向针对采集的数据本身，可以提取一些指标（用户数、影响用户数、影响人次、异常数…），以此作为纵向量化产品的标准；
• 纵向根据产品到异常之间所有可被分析的层次，依次划分为：研发中心、产品、产品线、系统、用户、异常。

3. 治理

治理的目的是为了减少产品的体验异常，从而提升产品的用户体验。

1）责任人制度

针对分析维度中的纵向维度（研发中心、产品、产品线、系统、用户、异常），都需要建立责任人制度；例如，针对每一个异常，需要明确其责任人是谁，目的是当该问题发生时任何人都能够迅速找到责任人，从而为解决问题节省大量的责任推诿时间。

2）排行榜

针对分析维度中的纵向维度（研发中心、产品、产品线、系统、用户、异常），都可以使用分析维度中的横向维度的指标创建排行榜；例如，针对研发中心，可以设立异常治理排行榜，目的是通过比较异常的降低总量/比例来促进异常治理工作的落实。

3）待办事项

在系统内，可以提供“待办”功能，用户可以针对异常创建待办事项，并指定人员来完成，从而节省沟通成本，直接在系统内驱动异常治理；此外，如果团队使用Jira，可以将系统与Jira打通，用户可以针对异常创建Jira，从而纳入日常的研发工作事项。

4）日报/周报/月报

针对分析维度中的纵向维度（研发中心、产品、产品线、系统、用户、异常），都可以设立日报或周报，甚至是月报；通过在不同工作周期内明确治理的目标和效果，从而推进异常的治理。

5）专题治理

针对体验问题（系统性能异常、业务状态异常），可以通过开展专题治理的团队行动来突击提升用户体验；例如针对“无货”的专题治理，通过项目组形式，引入业务的分析维度；例如品牌、品类、商品组、商品编码，来驱动多个团队协同完成降低无货异常。

4. 验证

在治理过程中或完成阶段，可以通过前后比较分析维度中横向维度的指标数据来验证治理的效果，可以提取出一个抽象指标：对比期；例如，针对体验异常“卡顿”，当前6月30号其异常数为100；假设对比期是6月1号其异常数为200，那么可以验证得到：针对体验异常“卡顿”，其6月份的治理效果完成了降低50%。

三、总结

本文围绕用户端侧的异常，以闭环的思路构建一套互联网产品的用户体验监控体系。

通过对体验异常的采集、分析、治理和验证，达到量化产品用户体验、以数据驱动产品决策的目的，从而为用户创造极致的产品体验。

• 采集：采集产品在所有场景中，用户遭遇的一切体验问题。
• 分析：结合业务目标，分析得出体验问题的轻重缓急。
• 治理：通过将治理渗入到日常工作，驱动团队完成体验问题的治理。
• 验证：参考绩效相关的指标，验证体验问题的治理效果。