大数据分析项目.docx

公司简介：智友是一个年轻的文化品牌，旗下有多个互联网产品线，覆盖生活方式、音乐、创意，时尚等多个领域。致力发展为最大的年轻人文化出版与发行渠道，挖掘文化领域的年轻力量。旗下产品音乐软件“xxx”是时下最流行的音乐App，首创弹幕评论交友，独特3D音乐颠覆你的听觉体验。上线短短数月就受到了百万音乐发烧友的喜爱和追捧，苹果商店音乐免费榜长期稳居前五。公司业务：发现你不知道的好听音乐、3D立体声音(雨声、场景立体特效声)、趣味声音。首创声音/音乐弹幕评论，让你感觉不再是一个人听歌！从未有过的听觉社交体验。随时随地录下生活中的精彩，录音变声、拍照变形统统有。制作酷炫的有声表情，和朋友聊天显得更萌萌哒。遇见音乐/声音大咖，轻松结识跟你喜欢同一首歌/音频的朋友。根据你的听歌风格定制属于你的首页歌曲和推荐歌曲。根据歌曲收听量排出每种歌曲类型的热门歌曲。用户录制自己的MV和歌曲上传到echo让更多的音乐爱好者认识你。9.用户社区，好友圈，看看你的朋友都在聊什么听什么。项目需求：用户画像，根据听歌风格，每天在线时间，用户收藏了哪些歌曲，总是跳过播放哪些歌曲，来给用户打标签。2.每天对新上线的音乐进行分类统计，每类歌曲新增数。3.每天根据用户标签推荐他喜欢的top10歌曲。4.实时统计用户上传的音乐，MV的数量。5.每十分钟对用户上传的音乐，MV的收听和点击率情况进行分析统计。6.每天对用户上传的音乐进行分类化和收听点击率排名。7.每天更新统计注册用户数和会员用户数。8.统计手机端APP，android，ios占比度。9.统计用户听歌的方向性和潮流性，来决定公司需要引进哪些类型的歌曲。10.用户圈，统计用户圈中讨论最多的热词。11.发现和你口味相同的朋友并推荐给你。项目架构：从手机客户端APP，PC，网页中收集用户信息，听歌信息，上传的歌曲。通过kafka推送给mr或spark清洗。重用kafka作为缓存，缓存把数据存储到HDFS上。通过hive进行分析计算。计算结果保存到hbase和mysql中。HBase中的数据可以做用户推荐，热度排行，mysql可以共用户查看个人资料和好友信息，等级等。需求设计：从埋点日志导出用户听歌信息，用spark清洗出用户听了哪些歌曲，收藏了哪些歌曲，整理出用户喜好的歌曲是哪些风格，把这些风格写到mysql用户信息表相关联的用户歌曲风格表里。用HIVE对HDFS上的每天上线的歌曲做分类统计每类新增数量。从mysql查看用户的喜好歌曲标签，然后在歌曲库中找到对应的分类歌曲推荐给用户。利用spark把用户上传的歌曲从HDFS上导入进来进行一个求和操作，把结果直接导入hbase中。从mysql中的用户注册表中通过注册时间过滤出今天注册的用户，然后进行求和操作，在今天注册的用户中按照字段“会员”条件查找会员用户求和。设计实现：1.统计每类新增歌曲数量从HDFS里导入hive每天分类好的歌曲每日新增歌曲数量表字段中文名字段英文名字段类型Id编号IntsongName歌曲名Stringsingername歌手名StringStyle曲风StringDate时间String1,演员,薛之谦, 流行,2016-3-202,告白气球,周杰伦,流行,2016-3-203,成都,赵雷,流行,016-3-204,espana cani,andre rieu,古典,2016-3-205,小桃红,汤旭,民谣,2016-3-206,everything,wrld,嘻哈,2016-3-207,wake,free,摇滚,2016-3-208,长安长安,郑钧,摇滚,2016-3-209,love is a killer,vixen,摇滚,2016-3-2010,I remember,dokken,摇滚,2016-3-20在HIVA下建一个歌曲表Create table music_160320(id int,songName string,style string,singerName string,date string)row format delimited fields terminated by ‘,’;Load data inpath ‘NewMusic/music_160320/music.txt’ into table music_160320;Hiveselect style,count(*) from music_160320 group by style;结果为Style count流行,3古典,1民谣,1嘻哈,1摇滚,4分析APP埋点信息Json数据结构(maidian.json){imei:864874020839760,phone type:huawei p6,phone system:Android6.0,user_nam