小团队撬动大数据——当当推荐团队的机器学习实践.pdf

Top 100 Cas e O f The Years 全 球 软 件 案 例 研 究 峰 会 St udies 当当推荐团队的机器学习实践 张相於 推荐系统 开发经理 当当 www.top100s ummit.c om 摘要 • 本案例介绍了当当推荐组构建机器学习 系统的实践过程、工程方法、经验教 训 以及总结和反思。 • 本案例的特点是：“面向过程”、“面 向系统”和“面向小团队”，希望从 不 同的视角为大家带来参考价值。 分享定位 • 本次分享里没有什 • 本次分享里有什么 么 • 实战过程和方法 • 机器学习入门 论 指南 • 踩坑实录 • 秒杀一切的炫酷新模 • 经验、教训和关 型 键点 • 一统江湖的高大上架 • 面向过程，而不是面 向结果 提纲 • 简论小团队 • 当当机器学习系统实 践 • 系统构建“七宗罪” • 作为软件系统的挑战 • Q A 简论小团队 当当推荐的机器学习团队 • 团队规模： 5 人左右 • 负责该套机器学习系统的全流程搭建 、 维护和升级等工作 为什么会出现小团队？ • 团队发展的必经过程 • 风险考虑 • 招聘市场人才稀缺 小团队的挑战 小团队的优势 当当推荐机器学习系统 实践 全 球 软 件 案 例 研 究 峰 会 推荐后台整体架 系统交互 全 球 软 件 案 例 研 究 峰 会 机器学习系统架 初期探索阶段 • 工具： • R • Python • R 的问题 典型开发流程 系统开发 V S 盖房 子 工具选择 模型训练 样本收集处理 特征工程 可视化展示 •liblinear •Flume •Hadoop •Pyt hon •xgboost •Kafka •Spark •js •S