招聘帖里常说的“A/B TesT”到底是个啥？ _A

作者：阿宅的产品笔记
本文在PMCAFF社区发布（www.pmcaff.com），转载请注明作者及出处。

文章插图
大家在聊增长的时候必定会聊到实验，而聊实验的时候也必然聊到AB test 。而且很多用人单位也把会不会用AB test作为考察增长产品或运营的关键指标之一。那么听起来这么高大上的AB test到底是个啥？

文章插图
|| 什么是AB test？
A/B TesT，也叫AB测试，有时你也会看到 AB testing的说法。简单来说，它是指针对想调研的问题提供两种不同的备选解决方案（比如两个下单页面），然后让一部分用户使用方案A，另一部分用户使用方案B，最终通过数据观察对比确定最优方案。
其本质还是对照试验。这就像初中时学的鼠妇试验：把鼠妇等额分为两组，在其他条件相同的情况下对一侧遮光，另一侧不遮，再观察两组鼠妇在两种条件下的反应，从而得出光对鼠妇的影响。

文章插图
|| AB test的特点
作为一种科学的实验方法，AB 测试具有以下特点：

先验性： A/B测试能够先于上线，得出结论；不再需要先将版本发布，再通过数据验证效果，从而一定程度上减少改版带来的风险。
并行性： A/B测试是将两个或以上的方案同时在线试验，这样做的好处在于保证了每个版本对应的时间环境、数据环境保持一致，便于更加科学客观地对比优劣。
科学性：如果能保证流量分配的科学性，将相似特征的用户均匀的分配到试验组中，就可以避免出现数据偏差，使得试验的结果更有代表性。

简单来说，AB测试可以让你以对照试验的方法在小范围内对多个方案进行测试，并得出改版的最优解。
|| AB test的应用场景
作为增长的常用工具，它的应用场景非常广泛，小到一个文案，大到一套算法
1. 产品UI：红色还是紫色？会动的icon还是静态icon？
2. 文案内容：“免费注册”还是“注册送188元大礼包”？
3. 页面布局：登录框置于导航栏，还是悬浮于放在页面左侧？
4. 产品功能：要不要把看似冗余的资讯签下掉，还是将它留着？
5. 算法/算法：是根据用户的历史记录推荐相似内容，还是根据相似兴趣用户的行为推荐相关内容，又或是根据商品/内容本身的相关性给用户推荐？
以下是几个通过AB测试得到较好的产品改进的例子（引用自《增长黑客：创业公司的用户与收入增长秘》）

Airbnb曾测试过把“保存到心愿单”的收藏图标由星形改为爱心，结果仅凭这一改动就让心愿列表的使用率提升了30％。

文章插图
变为爱心图标后的“保存到心愿单”按钮

37Signals在对旗下CRM产品的注册页面标题进行A/B测试后，发现“30-day Free Trial on All Accounts”（所有账户享受30天免费试用）可以比原来的“Start a Highrise Account”（注册高额回报账户）多带来30％以上的新用户。他们还试着挑战传统网页必须把所有重要信息都放在第一屏的惯例，做了一个长达5000多像素高的展示网页，结果竟成功让注册率增加了37.5％。

文章插图
37Signals旗下产品Highrise的注册引导文案

EA在发布游戏《模拟城市》时，发现删除掉官网顶部的“PRE-ORDER”（预购）广告横幅可使得页面更加干净整洁，并因此使订购量由之前的5.8％上涨到10.2％。

文章插图
《模拟城市》订购页面测试前的广告文案
|| AB test的实施步骤
与我们写论文时做的实证分析类似，AB 测试也有一套成熟的实施步骤：
1.现状分析：分析业务数据，确定当前最关键的改进点。
2.假设建立：根据现状分析作出优化改进的假设，提出优化建议。
3.设定目标：设置主要目标，用来衡量各优化版本的优劣；设置辅助目标，用来评估优化版本对其他方面的影响。
4.界面设计：制作2（或多）个优化版本的设计原型。
5.技术实现：
网站、App(Android/IOS) 、微信小程序和服务器端需要添加各类A/B测试平台提供的SDK代码，然后制作各个优化版本。Web平台、Android和iOS APP需要添加各类A/B测试平台提供的SDK代码，然后通过编辑器制作各个优化版本。通过编辑器设置目标，如果编辑器不能实现，则需要手工编写代码。使用各类A/B测试平台分配流量。初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。