电信运营商大数据平台和应用实践.pptVIP

提供更大、更快、更强、更高质量的大数据能力 Volume 静止的数据 TB-EB甚至更大规模的现存数据 账单、CDR、网页库… Velocity 运动的数据 数据流，响应时间为毫秒-秒时间窗口 日志、交易、信令、M2M、消息、监控… Variety 数据形态各异 结构化、半结构化、非结构化、多媒体数据等 Veracity 数据不够精确 由于不一致、不完整、模糊、延迟、模型错误、伪造而使数据不够精确 ergen.co.nz/Global/Images/BlogImages/2013/Defining-big-data.png 感谢聆听、敬请指导！ /2013/01/10/verizon-4g-lte-data-traffi-287511/ * 基于云计算的大数据发展 * * Page * Page * * 谢 谢 谢 谢 * 谢 谢 谢 谢 电信运营商大数据平台和应用实践 提纲 电信运营商大数据面临的挑战 “大云”大数据平台研发和实践 移动互联网用户流量激增，手机数据化、宽带化趋势明显 时间分布 移动互联网：通信功能 = 80：20 数据来源：GSMA 2013 流量分布 用户分布 数据来源：Infoma 2013 数据来源：Cisco 2013 全球移动互联网用户数量激增， 已3倍于固定互联网用户数量 移动互联网流量激增，2012年底，移动数据流量占比超过13% 移动互联网应用使用时间激增，是使用通信服务时间的4倍 4G、M2M将大大加快移动网络数据业务和流量增长 2013年4G网络将占到全球流量的20%，2016年将超过3G网络流量，2018年将占据超过2/3的移动网络流量。2013-2018年，4G流量的年复合增长率达到82.2%。2018年数据业务收入占运营商的份额的47.3% ABI Research 2013.09 数据来源：Ericsson 2013.11 2012年9月Verizon LTE网络建成不到2年，用户达到11M，占Verizon用户总数约12%，流量消耗占全网流量的35%以上。2013年1月，4G流量占比50%，2013年11月，4G流量超过64%，视频是主要业务 M2M终端数量大幅度增长 4G驱动流量增长 2014年，M2M设备数量接近智能终端 数据来源：ABI Research 2012 数据业务成为运营商收入的新增长点 Verizon 2013Q3的ARPU同比增长7.1%，比2010年发布4G时增长21%。 SKT 2013年Q3 4G的ARPU增长比综合ARPU增长超32%，竞争对手KT则达到40%。 荷兰所有的电信运营商的数据业务收入占比同比增加14%，全部来自语音业务的下降。 2013年全球移动互联网业务收入增加23.4%，达到3千亿美元。其中，2013年Q4美国运营商的数据收入超过语音收入。 ABI Research Feb.2014 面对巨大流量，移动运营商面临强大的挑战 移动互联网 服务商 电信运营商 SNS 博客 电商 视频 图片 音乐 签到 问答 点评 优惠券 专业SNS 微博 消息 论坛 2G、3G、4G、WIFI … 新闻 地图 超过7.1亿用户 超过100万基站 每分钟超过800万通话 每天信令数据超过1PB 每秒上网流量超过40GB 经分系统数据规模接近10PB 需要融合巨大的管道数据和业务数据 网络优化 决策支持 精准营销 业务创新 A+Abis信令 Mc信令 Gn+Gb信令 Gn-IuPS信令 Wifi、Radius信令 4G X2等信令 语音等业务数据 DNS 数据 虽然结构化的业务数据虽然价值含量很高，但是管道数据却提供了用户的数据消费、社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息，这对用户刻画、套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助 日志 结构化数据 + 互联网公司通常采用混合架构解决大数据问题 /wp-content/uploads/2013/10/Tully-SparkSummit4.pdf By Tim Tully (Distinguished Engineer/Architect, Yahoo)? 互联网公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技术应对大数据4V挑战，例如Yahoo针对日志数据进行两种处理，并与业务系统结合（后期尝试Spark技术） 示例：Yahoo数据处理流程 大数据技术在互联网公司得到成功应用 Google在全球多个数据中心大规模混合部署和调度数据处理能力，系统利用率高达80%+，2011年MapReduce系统每天处理1000PB左右输入数据，支撑其核心业务，包括有哪些信誉好的足球投注网站、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多种数据处理系统。随着技