netflix_prize_中的协同过滤算法.ppt

若干个因子：评分矩阵的秩很小 * 为什么我们选择因子模型作为研究对象？因子模型是单个模型中获得预测精度最高的一类模型 * 重点 * 消费者希望知道为什么会推荐这个产品 * 去掉约束，MFCM就变为MF了 * 强调工作量，已获奖团队的组合数量 * 强调：我们是首次把它们作为一类问题抽象出来，并对它们进行系统的研究 * * 从有哪些信誉好的足球投注网站结果可见，我们是首次把它们作为一类问题抽象出来，并对它们进行系统的研究 * 视频有哪些信誉好的足球投注网站引擎B推出新版平台，根据用户的浏览习惯发布更为相关的广告。 * 强调：我们是首次把它们作为一类问题抽象出来，并对它们进行系统的研究 * 从二维到三维，自然会想到kNN * 减轻稀疏的影响：使用聚类 * 这么做的目的是：希望知道一个模型所能容忍的极限稀疏度 * 体现一个模型所能容忍的极限稀疏度 * Take-home messages * 吴金龙 @ SMS. (2010-05-28) Netflix Prize 中的协同过滤算法 * Part II：CF模型——Factor——MFCM 如何改进FCM 既然最终使用 获得预测评分，为什么不直接最小化训练数据集上的预测误差 相比于FCM的目标函数，一个更加直接且自然的目标函数为 其中 Z 为概率矩阵，满足 Z ≥ 0，且 Z1 = 1 。 修正模糊聚类（MFCM）模型求解优化问题 吴金龙 @ SMS. (2010-05-28) Netflix Prize 中的协同过滤算法 * Part II：CF模型——Factor——MFCM 如果取FCM目标函数中的指数参数α=2，并取其中的范数为2-范数，则目标函数 而MFCM的目标函数可以写为 MFCM不能使用交替更新中心C和概率Z的方法进行求解 使用（非）零动量梯度下降法求解MFCM 使用两种方法处理其中的约束条件 惩罚处理约束方法 MFCM1算法 指数融入约束方法 MFCM2算法 具体算法见博士论文P64-66 或 J. Wu T. Li (2nd Netflix-KDD Workshop, 2008) 吴金龙 @ SMS. (2010-05-28) Netflix Prize 中的协同过滤算法 * Part II：CF模型——Factor——实验结果 当因子数K=40，算法MF和MFCM1的惩罚系数λ=0.025 ，而算法MFCM2的惩罚系数λ=0.0002且对应的动量μ=0.85时，各个算法获得的预测误差见下表 结果表明 算法MFCM1的预测精度高于MF，但MFCM1最终获得的概率矩阵并不严格满足约束条件 算法MFCM2的预测精度低于MF ，但MFCM2最终获得的概率矩阵严格满足约束条件 算法 迭代步数 Probe RMSE MF 37 0.920124 MFCM1 40 0.918029 MFCM2 112 0.922317 吴金龙 @ SMS. (2010-05-28) Netflix Prize 中的协同过滤算法 * Part II：CF模型——Factor——实验结果 类似于MF算法，对于更小的学习率，MFCM1和MFCM2算法获得更低的预测误差，但同时收敛速度也变得更慢 同样可以使用逐渐降低学习率的方法在更少的迭代次数中获得更高的预测精度 具体见 J. Wu T. Li (2nd Netflix-KDD Workshop, 2008) 算法 学习率 η 迭代步数 Probe RMSE MFCM1 0.004 40 0.918029 0.002 85 0.916028 0.001 176 0.915017 MFCM2 0.006 81 0.923233 0.004 112 0.922317 0.002 199 0.921644 吴金龙 @ SMS. (2010-05-28) Netflix Prize 中的协同过滤算法 * Part II：CF模型——模型组合方法 单个模型通常只考虑可以产生推荐的因素中的某个方面 邻居模型只考虑评分数据中的局部作用 因子模型只考虑评分数据中的全局作用 组合多个模型的预测结果以便同时考虑多种因素 吴金龙 @ SMS. (2010-05-28) Netflix Prize 中的协同过滤算法 * Part II：CF模型——模型组合方法 训练 利用FPTS分别训练各个模型；记第k个模型对Probe Set的预测评分为 ，并记 把Probe Set放回FPTS，使用WTS重新训练每个模型（训练过程中所使用的模型参数完全同上一步）；记第k个模型对Qualifying Set的预测评分为 ，并记 组合 利用各个模型获