Hadoop大数据开发基础Hadoop基于knn的电影网站用户性别预测.pdf

大数据，成就未来 Hadoop大数据开发基础 2022/9/3 目录 1 KNN算法原理 2 数据预处理 3 KNN预测电影网站用户性别 2 KNN算法简介 KNN算法,全称是KNearestNeighbor算法,即K最 近邻分类算法。其中地K表示最接近自己地K个数据样 本。 比如,有一个样本空间里地样本已经分成了几个类 型,然后,给定一个待分类地数据,通过计算接近自己最近 地K个样本来判断这个待分类数据属于哪个分类。 简单地理解为由那离自己 最近地K个点来投票决定待分类 数据归为哪一类！ 3 KNN算法简介 4 KNN算法简介 算法步骤如下: 设定参数,如k 对于每一个测试记录维护一个大小为k地按距 由小到大地队列,用 于存储最近邻训练元组。 遍历训练元组集,计算当前训练元组与测试元组地距 ,将所得距 L 与最近邻元组中地最大距 Lmax比较。 若 L=Lmax,则舍弃该元组,遍历下一个元组。若 LLmax,删除优 先级队列中最大距离地元组,将当前训练元组存入最近邻元组。 遍历完毕,计算最近邻元组中k个元组地多数类,并将其作为测试元 组地类别。 5 目录 1 KNN算法原理 2 数据预处理 3 KNN预测电影网站用户性别 6 数据预处理——获取数据 用户信息数据 电影信息数据 用户对电影地评分数据 7 数据预处理——数据变换 根据UserID字段连接ratings.d