大数据分析关键技术与服务创新.pdf

大数据分析关键技术与服务创新 黄哲学 博士 深圳大学特聘教授 内容提纲 1 数据分析与大数据 2 云计算与大数据分析 3 关键技术与服务创新 腾讯游戏与大数据分析 • 亿级在线用户、上百在线游戏 • 游戏平台系统记录每个用户在线玩游戏的详细数据，包括 游戏、时间、动作、结果等，数据超TB级 • 分析需求： – 用户行分类与预测，用户行为客户群划分， – 用户挽留、用户奖励和级别提升 QQ游戏是腾讯旗下自研的 休闲游戏社区平台，官方数 据显示，QQ游戏平台拥有 百款以上的游戏品类，2亿 量级活跃用户，最高同时在 线人数超过800万。 智能电网大数据 • 东莞工业的电力用户 达两万多家 • 每十五分钟采集电压 、电流、功率等数据 • 每月平均数据量达 85GB 用客户电行为模式大数据分析  选取客户不同维度的数据进行客户 分群  日周月用电模式  用户行业背景  用户地理信息  用户电力设备信息  地区宏观经济数据  通过对客户分群，获取用户不同的 用电模式  工作日双班制，三班制，四班制  周末长短周轮休  夜间用电高峰  行业间用电模式比较  不同地区不同行业用电模式比较  节假日及用电模式趋势预测 客户分群 三 班 型 两 班 型 稳定型 其 他 类 型 三班制用电行为聚类 高强度加班模式 低强度加班模式 什么是大数据 对数据的使用者来讲，如果数据集超出了使用者所拥有的 信息处理和分析的能力，就给使用者带来了大数据问题 大数据的3V特征 Volume 大数据的特点并不只是 数据规模大 数据规模大 Value 价值 Velocity Variety 数据变化数据快 数据属性复杂 大数据的价值(Value) 美国医疗保健 欧洲公共部门管理 全球个人定位数据 每年2500亿欧元 1000亿+的服务供应商收入 每年产值达3000亿美金 每年生产率增长约0.7% 为终端用户带来高达7000亿 每年生产率增长约0.7% 美的价值 美国零售业 制造业 净利率增长可能高达60%+ 最多可节省50%的产品研发、 每年生产率增长0.5-1.0% 组