随机机器学习算法_金榕.pdf

随机机器学习算法 ——让大数据上的不可能变为可能 金榕金榕 阿里巴巴集团 大数据的挑战大数据的挑战 处理大量数据  数据量存量巨大  2012年，已存在 2.7 ZB 数据  2020年，将达到 40 ZB 数据 ————数据来自数据来自 《《ComputerWorldComputerWorld》》  数据量快速 例如例如 ：网络络用户户每每分钟钟都产生大都产生大量数据数据  YouTube用户上传超过300小时 新视频  SnapChatSnapChat用户传递用户传递 284284,722722篇信息篇信息  Facebook 用户共享4,166,667篇内容 /story/how-much- data-created-internet-every-minute/2015-08- 14 2015.10.24 CNCC 合肥 2 大数据的挑战大数据的挑战 高维数据高维数据 例如：在图像分类和在线广告任务中，经常使用上百万维的特征 2015.10.24 CNCC 合肥 3 数据规模的重要性数据规模的重要性 是否有必要在如此大规模的时间上进行学习？是否有必要在如此大规模的时间上进行学习？ Yes 矩阵补全矩阵补全 (M(MattirixCComplletition))  广泛应用在分类、聚类、推荐系统等任务中  性能度量：恢复误差 recovery error 2015.10.24 CNCC 合肥 4 数据数据规模的重要性规模的重要性 (2)(2) : PERFECT 完美恢复 观测到的 矩阵元素数量矩阵元素数量 : POOOOR 低质低质量恢复恢复 差 误 复复 未未 恢 知 矩阵元素数量 2015.10.24 CNCC 合肥 5 大大数据数据带来带来的困难的困难 考虑一个简单但非常基础的任务考虑一个简单但非常基础的任务 ———— 矩阵平均矩阵平均 矩阵矩阵 结果 规模: 1B x1M + + … + 规模: 1B x1M 特性: 稀疏 特性: 稀疏 2015.10.24 CNCC