AB测试与多变量测试.pdf

A/B 测试与多变量测试 当我们对网站改版时，往往需要知道优化效果是好还是坏，因此我们可以请用户帮助检测哪 个优化方案更加有效，这样的过程即A/B 测试。通常用于网站新旧页面的对比。本文讨论如 何有效地实践A/B 测试。 ● 定义A/B 测试 ● 选择不同的测试技巧 ● 样本用户群检验 ● A/B 测试的实用工具 什么是A/B 测试 假设我们是一家专门提供曲奇饼的公司，已经有一些固定的顾客。现在我们打算更新曲奇饼 配方。最坏的情况是我们不经过测试直接用新配方更换旧的，那么就有可能损失现有的稳定 客户。因此需要先确认新配方比旧的更受欢迎，这时我们可以挑选一些客户帮忙试验是否新 的曲奇饼更好吃，以帮助是否要换掉旧配方。 互联网市场和业务跟曲奇公司一样，许多公司不经过检验就对网站做出或大或小的改版。 当你开始对网站或活动进行修改时，挑选部分用户（试吃测试员）帮助检验修改效果，这个 过程可以用过A/B 测试搞定。 （如果参加过Omniture 的用户培训，你可能已经了解网站分析的过程，这其中就包括了A/B 测试） 下面是关于A/B 测试的主要步骤： 1. 确定网站中影响转化的各种因素 2. 假设可以用现有数据检验你的修改 3. 对同一页面设计不同版本进行测试 4. 效果评测：哪个版本转化率更好 以Omniture 网站为例 Ominture 官网经常为它的网络活动进行A/B 测试。官网是一个销路拓展类型的网站，因此 完成一个用户信息收集就是一个成功事件。官网页面有一大块区域面向网络活动，提供客户 信息收集的，可能是关于多媒体跟踪的白皮书，或者是如何提高转化率的文章。一旦用户填 写了联系信息就可以下载他们想要的文件。Omniture 常常在这些区域组织A/B 测试，不同 的用户看到不同的活动页面。用户在这些活动的的行为可以用 eVar （Omniture Custom Commerce Variable ），之后就可以在Omniture 分析哪个版本最好，然后将其推广。 这种策略可以应用到你的网站的页面或页面中的元素，同时你可以借助下面的方法。 A/B 测试技巧 当你决定了要对网站的哪个页面或页面元素进行测试后，下一步就是选择测试方法： 1.连续测试（Consecutive Testing ） 2. 同步测试（Synchronous Testing ） 连续测试 对所有用户第一阶段投放A 版本，接下来投放 B 版本相同时间段，以此类推。比如，这周 放A 页面，下周放B 页面。 优点 连续测试容易部署和跟踪，只需要按时间划分方案。因此这种方法需要很少资源，因为不需 要分流用户，使不同人看到不同的方案。 缺点 连续测试不能像同步测试那样获得准确的测试结果，因为测试过程中两周之间可能发生很多 不可控的变化，比如来自股票市场、政策、新闻 、竞争对手、甚至天气变化，都可能影响 你的数据从而影响测试结果。因此当你做分析时，不能确定转化率的必变是由网站修改引发 的，还是外部变化导致。当然这些因素对不同的主体影响是不同的，就像有些网站对外部变 化很敏感，而另一些则不。 要点 如果你做了连续测试，则需要注意以下几点： 1. 及时仔细地检查结果，如果新方案产生负作用，保证能快速回滚到从前 2. 保证不同方案的时间跨度想同 3. 确保时间足够长，样本完整。例如流量随着工作日变化的，至少要测试一周；而以月为 单位的趋势则要至少测试一月 同步测试 同步测试指同一时间，将用户分流到不同方案，然后通过页面版本标记去跟踪数据。 假设有A 和 B 两个 landing page，我们将把用户分为两组，分别到达A 或 B。最后我们用 Omniture 工具查看哪个版本的转化率更高。 优点 能正确地被执行时，同步测试结果更准确，由于同一时间的外部影响对各方案是想同的，因 此可以忽略。这也意味着你可以选择多少流量用于新版的实验。一些人会选择新老方案 1： 1，这是最简单的方法，表示你有50%的流量在新方案，意味着50%的风险（这也许是一个 缺点）。当然，你可以选择小流量，承担小风险。 总之，同步测试是最准确的A/B 测试方法。 缺点 相比连续测试，同步测试实现更复杂： 1. 需要版本标记，需要IT 部门协助 2. 需要选择有效的试验组，因此你必须与IT 紧密合作进行用户分流，让他们去到不同的版 本 3. 制定分流方案：如：同一个用户只能看到一个版本，还是每次访问随机分配一个 这些考虑比连续复制要多做很多工作，当然，这也意