推荐系统ABTest测试.docx

测试 集成测试 自定义算法开发完成后，还需要经过集成测试才能正式上线。集成测试是单元测试的延伸，单元测试验证算法内部的逻辑是否达到目的，集成测试则关注把新开发的算法加入算法流程后，整体表现是否有异常。RecEng中用于集成测试的手段是测试路径。 客户在RecEng中新建了一个算法流程――不妨称之为F――后，默认F是处于“未发布”状态的，这有两层意思： 1.启动离线计算API时F不会被启动 2.F的计算结果无法被推荐API获取 既然1，未发布的算法流程不会被离线计算API启动，所以RecEng在产品界面上提供了手工启动未发布算法流程的按钮。离线计算完成后，RecEng会将F的离线计算结果同步到在线存储，但是由于2，推荐API是无法获取F的计算结果的，测试流程的计算结果目前只能通过RecEng的API调试功能在产品界面上进行观察，目前还不能支持以API的方式访问测试流程的计算结果。 集成测试通过??，客户需要在产品界面上点击“发布”按钮，将未发布的算法流程发布上线，这样才真正进入了生产，上面说的1和2这两条限制都会被取消掉。 另外，有的时候客户可能需要对发布上线的算法流程进行调整，这时怎么办呢？ RecEng为每个已经发布上线的算法流程其实都还保存有一份线下测试版，这时客户只需要修正对应的线下测试版即可，按照上面的过程，先调整算法逻辑，然后手工启动离线计算，再在API调试中观察计算结果。集成测试通过之后，点击“发布”按钮，这时会提示是否需要覆盖线上数据，意思是需不需要用测试流程的计算结果去覆盖之前的生产流程的计算结果，客户可以根据实际情况自行判断。 效果测试 集成测试只能验证自定义算法在算法流程中是否能够正常工作；然而作为算法，仅仅能够正常工作是不够的，效果才是算法的最终目的。RecEng支持以算法流程为单位的A/B Testing，直接对最终效果进行比较，为决策提供参考。 要进行A/B Testing，必须要先明确指标；要计算指标，首先要采集日志。下文从日志采集开始说明。 日志采集 在度量推荐系统的效果时，RecEng只关心和推荐有关的行为。为了和其他无关的行为区分开来，RecEng在每次推荐API的返回结果中都附带有一个Trace ID（该次推荐API返回的所有物品共享这一个Trace ID），客户需要按照一定的规范把这些Trace ID埋入日志，这样才能利用阿里云推荐引擎提供的效果报表功能，具体埋点和日志的规范细节参见 HYPERLINK /document_detail/30391.html 日志埋点规范 Trace ID的埋点有三个原则： 1.在推荐列表展示时，需要把对应的Trace ID埋入推荐列表中所有物品的链接里 2.如果用户点击了包含有Trace ID的物品链接，需要把这个Trace ID带入下一个页面，且要在新页面中所有该物品的链接里都埋入这个Trace ID 3.如果用户点击了不含Trace ID的物品，或点击了包含有其他Trace ID的物品链接，之前的Trace ID失效 要注意的是，不是所有的日志中都会有Trace ID信息，Trace ID只负责对RecEng返回的推荐结果进行跟踪。客户网站或应用中大部分的用户行为可能都和RecEng并没有关系，为了更好的刻画用户画像，这些用户行为也是需要上传到RecEng的。 日志埋点完成之后，把日志通过日志API提交到RecEng，日志采集就算完成了。但日志API的功能可不仅仅只限于上传采集的日志。细心的用户可能会注意到，在RecEng的业务配置界面中，有一个不起眼的复选框： INCLUDEPICTURE \d /assets/attach/30374/cn_zh/1466394075919/Sni7.png \* MERGEFORMATINET  即客户可以通过日志API实现离线数据上传，要实现这个功能，一方面需要在产品界面上打开这个开关；另一方面各种user、item的数据都需要从日志API传上来。和离线上传不同，通过日志API上传user、item数据是增量方式的，每天只需要把新增的数据发送给RecEng即可。 业务配置页中的“自动数据预处理”复选框如果选中了，那么在新的一天开始的时候，会自动启动对前一天数据的离线计算任务。 效果报表 在RecEng中，与效果报表紧密相关的概念主要有三个：效果算法、效果指标、效果流程。 效果算法专门用于计算效果指标，其输入和输出表都是固定的，输入表是行为表（user_behavior），输出表则是指标结果表。效果算法的逻辑比较简单，一般就是简单的统计，或者在统计的基础上进行四则运算。麻烦之处在于统计是要有统计口径的，口径包括时间粒度、业务粒度等。 RecEng中所有这些统计口径都是一致的，时间