蘑菇街告算法实践—赵逸龙.pdf

蘑菇街⼴告算法实践 —赵逸龙 蘑菇街 中国最⼤的⼥性时尚社交电商平台 提纲 • 蘑菇街业务概述 • ⼴告检索排序的技术架构 • 业务挑战及其背后的技术思考 • 未来展望 提纲 • 蘑菇街业务概述 • ⼴告检索排序的技术架构 • 业务挑战及其背后的技术思考 • 未来展望 蘑菇街的业务特性 • ⽤户“逛街”式访问占⽐⾼ • 移动端占⽐超过90%，⽤户浏览量⼤ • 商品存在明显的时效性和季节周期性 • 商家线下库存压⼒⼤ 蘑菇街的⼴告业务 提纲 • 蘑菇街业务概述 • ⼴告检索排序的技术架构 • 业务挑战及其背后的技术思考 • 未来展望 ⼴告检索排序的技术架构 A/B Test 统⼀投放 UPS Query ⼴告检索 Rewriter FlowCTL Spark ASAP ZooKeeper HBase Hive HDFS Kafka 提纲 • 蘑菇街业务概述 • ⼴告检索排序的技术架构 • 业务挑战及其背后的技术思考 • 未来展望 业务挑战及其背后的技术思考 • 提升排序效率 • 缓解流量波动 • 维护⽣态健康 始于经验公式 • 统计平滑 • ⼴告 / ⾃然 • 有哪些信誉好的足球投注网站 / 类⽬ • 商品 / 店铺 • 置信度区间 ( Wikipedia: Binomial Proportion Confidence Interval) 迈向机器学习 • 击败统计经验公式 • 统计特征 vs 泛化特征 • ⽼⼴告 vs 新⼴告 • 从XGBoost到XGBoost on Spark • 近线模型更新 + 在线模型预测 (XGBoost: A Scalable Tree Boosting System) 减轻位置偏置 1.200 1.000 R² = 0.8936 0.800 0.600 0.400 0.200 业务挑战及其背后的技术思考 • 提升排序效率 • 缓解流量波动 • 维护⽣态健康 流量波动的原因 • 点击率的天然变化 • 点击率预估模型的波动 • ⼴告从不置信到置信 • 模型并不保证局部稳定性 • 训练数据异常 • 作弊⾏为数据 • 数据链路上的其他异常 ⼀次突发的局部排序波动 • 症状 • 部分商家反馈⼴告排序突然下滑 • 诊断