在线AB测试方法的详细操作及执行指南.pptx

在线AB测试方法的详细操作及执行指南 09简介流程产出物注意项案例AB评分表访谈测试版本测试任务版本1版本2线下A/B测试通常结合可用性测试、深度访谈、焦点小组等方式开展。线下A/B测试通常是定性定量相结合，邀请用户到实验室使用以及评价这些版本，研究人员直接对用户进行访谈，了解用户做出选择的动因，并深入挖掘用户的使用需求以及建议。在线A/B测试是定量研究，通过产品将不同版本投放到网络上，让用户在真实的环境中使用产品，系统后台收集用户的使用数据，进行定量分析。AB测试在线A/B测试 09简介流程产出物？注意项案例在线A/B测试：是一种分离式对照实验组间比较方法，即某一个元素设计不同版本，每个版本随机分配不同的用户使用，采集用户使用数据，统计对比各版本在统计学方面的优劣，从而找到与业务目标更相近的设计版本。主要用于团队内部对设计方案持不同意见或有不同方案且无法判断孰优孰劣的情况，目的是在几个版本中选择最优版本。一般用时为30天左右，具体需要视数据的收集情况而定。A/B Testing需要预先构建相应的自动分流系统，可选择使用测试工具完成。AB50%50%在线A/B测试 09简介流程产出物注意项案例在线A/B测试方法来自于邮件宣传，商家将同一目的内容的不同版本邮寄到目标群体中，测量回应率。根据这些数据，商家可以以后的直邮内容做相应修改，改进为回应率更多的版本。随着互联网的发展，在线A/B测试已广泛应用于产品设计、电商销售、数字广告优化、电子邮件、价格策略规划等领域。本方法着重介绍用户研究中的A/B测试方法。在线A/B测试的起源、发展、应用但A/B测试却发现结果恰好相反：大图像虽然使每一页上列出的商品数量减少，但这种方式更能吸引买家。经典案例：eBay2010年进行的商品图像大小测试方案A：大尺寸的图像方案B：小尺寸的图像eBay研究人员认为网页的商品数量越多，分页次数越少，越能吸引买家。据此假设，小图像可以增加每个页面商品数量，并因此更能吸引顾客。eBay因此迅速做出调整，在整个网站上都换成了尺寸较大的图像。假设：小图像更吸引客户实验结果：大图像更吸引客户方案调整：采用大图像方案注：案例摘抄自《通用设计方法》 贝拉.马丁/布鲁斯.汉宁顿 著在线A/B测试 09简介流程产出物注意项案例?在线A/B 测试最核心的思想有三个，即：在线A/B测试的核心思想1多个方案并行测试2每个方案只有一个变量不同3以某种规则优胜劣汰测试对象必须是单变量，使得测试数据与业务目标的相关性更加明显，便于方案的选择。方案间的差异不能太多，因为变量越多，变量之间的干扰越多，则很难找出各个变量对结果的影响程度，从而影响结果的判断。以网页为例，根据业务目标选择测试指标（如转换率、销售额、跳出率等），统计各个版本在这些指标上的差异，最后选出表现比较好的版本。准备2个或2个以上的方案，每个方案只有某一个地方有差异，比如网页的某处排版、文案、图片、颜色等。同时上线所有方案，并且控制每一个用户只能看到其中一个方案。控制各个方案的访问人数，将访问者平均分配到各个不同的方案上。在线A/B测试 网站的布局和风格页面上文字的长度（少或多）表单的数量、字段类型登录页面和产品页面上的图片按钮大小、颜色和位置09简介流程产出物注意项案例测试对象必须是单变量，测试对象的选择取决于业务目标。以网页为例，如果业务目标是增加注册客户数量，那么A/B测试的目的是要弄清楚什么阻止了客户注册，测试对象则可能是下列内容：注册表单数量、字段类型要求、隐私政策等。在线A/B测试的对象按钮的措辞标题或产品说明产品定价和促销活动在网站上几乎所有影响用户行为的东西都可以进行A/B测试，为了有效的找出哪些因素能够影响转化率，一般会用对照实验的方式测试下列这些元素。在线A/B测试 09简介流程产出物注意项案例在线A/B测试的基本思路注： 虚线框中为示例内容xxxxxx多个方案并行测试以某种规则优胜劣汰提出一个问题做背景研究构建一个假设计算测试持续的时间测试假设假设是否成立？是否报告结果报告结果实施方案继续探索示例：测试目标为如何提高注册量？收集相关用户注册行为资料改变注册按钮位置可增加注册量根据优化方案设计按钮位置改变广告口号可增加注册量在线A/B测试 09产出物注意项案例在线A/B测试的工具一旦决定了测试对象，接下来就要选择一个合适的测试工具。Visual Website Optimizer、Unbounce和ABTester仅支持测试网页；Appadhoc仅支持测试App；Optimizely则同时支持网页和App。不管使用哪种工具，测试的核心步骤基本上是类似的。简介流程国内国外网页（3）App（1）App（1）网页在线A/B测试 09产出物注意项案例A/B测试工具的操作指引--Visu