A/B测试实战case分享，面对考官追问也不慌¶

前言¶

A/B测试是在增长黑客，精细运营理论中常用的数据驱动产品优化的方法。很多同学或多或少了解过A/B测试背后的理论和统计方法，但是没有机会参加实际项目，积累实践经验。我在学习过程中也遇到过类似的困扰，今天想向大家推荐一个可以很好补充项目经验上的空缺，在遇到A/B测试相关问题时可以更从容应对的实战项目：优达学城(Udacity)上的A/B testing by Google（Udacity是一个线上课程平台，有很多高质量的计算机，人工智能，商业分析相关课程）。

课程链接： https://www.udacity.com/course/ab-testing--ud257

这门课会带你详细地讲解项目背景，真实案例中的实验设计，同时开放地鼓励你对实验结果进行阐述和分析。想积累经验的同学，建议亲自完成该课程，会发现很多实践中才会遇到的问题。想观望一下或者快速过一遍A/B测试流程的同学，可以参考这篇总结的测试报告。

1. 实验背景和简介¶

优达学城是一个在线教育网站，该网站通过学生报名付费课程的方式盈利。优达学城将报名学生的课程完成率作为一个非常重要的运营指标，以此提高用户的使用满意度，获得较好的课程反馈和口碑。为了提高这一指标，优达学城计划对课程报名入口做一些改动，引导学生选择最合适的上课方式，提高课程的完成率。

1.1 控制组：¶

现有的用户报名流程：

在进行实验前，优达学城的课程主页上有两个选项：“开始免费试用” 和“获取课程资料”。如果学生点击“开始免费试用”，系统将要求输入银行卡信息，然后进入免费试学阶段，该阶段学生可以选择取消使用，否则14天后他们将自动收费。如果学生点击“获取课程资料”，那么他们可以免费观看视频以及做随堂测试，但是他们无法获得导师指导以及证书，也无法提交最终项目获得反馈。

1.2 对照组：¶

实验测试的报名流程：在实验中，如果学生单击“开始免费试用(14天试用)”，则会询问他们有多少时间可用于该课程。如果学生回复每周学习5个小时或以上，则进入正常流程，免费试用14天后按月收费。如果他们表示每周少于5个小时，则会出现一条消息，提示Udacity课程通常需要花费更多时间才能成功完成课程，并建议学生选择纯免费版（只获得课程资料）。此时，学生可以选择继续注册免费试用版，或改为纯免费版。界面如下所示：

1.3 实验假设：¶

本次实验的假设是这会提前为学生设定更明确的期望，从而减少因为没有足够时间学习而退出免费试用，并因此受挫的学生数量，同时完成付费并完成课程的学生数量不会显著下降。如果假设成立，Udacity可以改善学生用户的整体体验，并将比较珍稀的导师资源提供给更有意愿完成课程的学生。

测试中分组的单位是cookie，学生参加免费试学登陆后用户id会被跟踪。同一id只能参加一次免费试学。对于不能参加免费试学的用户，id不会在实验中被跟踪。在指标选择中，分析单位最好按照分组单位。

2. 指标选择¶

2.1 不变指标：¶

选择以下指标作为不变指标，用于检验实验可靠性：

2.2 评估指标：¶

Udacity 希望减少报名课程但未成功支付的用户比例，用流失率指标反映。该指标定义为：

(报名用户id数 – 付费用户id数) / 试学点击数

同时，Udacity希望最终付费用户数量不会明显下降，选择净转化率反映，理想状况下该指标在实验中应该没有显著变化。该指标定义为:

付费用户id数(payments)/ 点击数(Clicks)

最后，Udacity的实验如果有效，则报名课程的总用户数也会相应减少，选择总转化率反应该变化。总转化率的定义为：

报名用户id数(enrollments) / 点击数(Clicks)

3. 实验设计¶

3.1 样本量计算：¶

为了计算出实验需要的最小样本数量和实验时间长度，我们需要Udacity平台的预估数据。对此，Udacity 提供了一份流量和转化指标的日均估值：

设定显著性水平 α = 0.05，检验功效 β = 0.20。

根据样本计算公式：

其中：

（p为基准转化率，d为最小变化值）

页面浏览cookies所需的最小样本数量 = \(\frac{n}{0.08} \times 2\)

各评估指标需要的最小样本数量分别为：

选择其中数值较大的作为样本数量，即685326。

3.2 曝光流量和实验长度：¶

首先需要关注本次实验设计是否会对现有系统产生较大风险，我的观点是不存在较大风险：

对用户而言：对用户后续付费，转化流程没有影响；收集的用户学习时长不属于敏感数据。

对网站而言：网站界面没有大幅改动；没有数据库及后台改变。

所以，综合来看，可以选择曝光75%流量，每天cookies数量约为30000，需要进行23天实验。其中，由于点击试学用户在14天后才有付费行为，所以实际实验数据应该收集至第37天。

4. 实验结果分析¶

4.1 可靠性检验：¶

检验Pageviews(cookies), Clicks, View_click_CTR。 Cookies 和 Clicks服从二项分布，p = 0.5; 根据中值定理，可得X服从正态分布：

对于CTR而言，标准偏差计算方式为：

可靠性检验结果：

三组不变指标差异均在置信区间内，通过可靠性检验。

4.2 显著性检验：¶

实验指标均为比例指标，且样本数量较大，适宜采用Z检验，计算对照组和实验组绝对差值和置信区间，判断置信区间是否包含零点和最小变化值。

Z检验结果：

5. 实验结论¶

实验中流失率的变化具有统计显著性，但是离具有实际显著性还差一点点，总转化率的变化具有实际显著性，而净转化率没有统计显著性，说明报名试学的用户在对照组中有显著减少，同时没有显著影响到最终付款学生的数量，这符合Udacity的预期目标。

综合而言，本次实验改动基本符合Udacity 的预期，但是有可能达不到Udacity 期望的效应大小。后期可以考虑尝试的工作有：

1. 尝试适当延长实验时间获得更多的付费用户样本数量，观察流失率是否变成有实际显著性。

2. 设计提高留存的版本迭代方案重新测试，例如对完成一部分课程的试学学员提供鼓励提示或少量奖励（如积分等）。

Comments